Long-horizon reasoning Reinforcement Learning Skill Switching Benchmarking
摘要

针对近期大语言模型在长程推理中需在不同技能间切换的需求,本文指出现有基准缺乏对跨技能能力的系统性评估。为此,我们提出“技能熵”以衡量技能切换难度,并构建Skill^2-Bench基准,涵盖558种技能。评估显示模型在高熵任务上存在性能差距。进一步,我们将技能熵转化为训练信号,提出Skill-Entropy RL框架,通过奖励机制优化技能序列预测。实验表明该方法显著提升Qwen系列模型性能,且该信号可复用于通用训练数据。

AI 推荐理由

论文核心聚焦于LLM的技能切换能力,提出技能熵指标及基于技能的强化学习训练框架。

研究机构
普林斯顿大学 卡内基梅隆大学 多伦多大学 伊利诺伊大学厄巴纳-香槟分校 斯坦福大学 牛津大学
论文信息
作者 Yinghui He, Ling Yang, Jiarui Liu, Yongjin Yang, Lechen Zhang et al.
发布日期 2026-08-05
arXiv ID 2608.05139
相关性评分 9/10 (高度相关)