摘要
针对近期大语言模型在长程推理中需在不同技能间切换的需求,本文指出现有基准缺乏对跨技能能力的系统性评估。为此,我们提出“技能熵”以衡量技能切换难度,并构建Skill^2-Bench基准,涵盖558种技能。评估显示模型在高熵任务上存在性能差距。进一步,我们将技能熵转化为训练信号,提出Skill-Entropy RL框架,通过奖励机制优化技能序列预测。实验表明该方法显著提升Qwen系列模型性能,且该信号可复用于通用训练数据。
AI 推荐理由
论文核心聚焦于LLM的技能切换能力,提出技能熵指标及基于技能的强化学习训练框架。
研究机构
普林斯顿大学
卡内基梅隆大学
多伦多大学
伊利诺伊大学厄巴纳-香槟分校
斯坦福大学
牛津大学
论文信息