Reinforcement Learning Reasoning Curriculum Learning Value-Variance
摘要

强化学习是提升大语言模型推理能力的有效方法,但现有方法在反馈精度和问题难度漂移方面存在不足。为此,我们提出了CVPO(课程引导的值-方差策略优化)。在响应轨迹层面,我们发现词元级的值-方差与探索强度相关,并据此设计了方差感知的优势调整机制。在问题层面,引入动态课程加权方法以适应题目难度,使模型聚焦于当前能力匹配的任务。实验表明,该方法优于VAPO等基线,在数学任务中实现了更准确、鲁棒的推理。

AI 推荐理由

论文旨在通过强化学习增强LLM的推理能力,核心贡献在于优化推理过程中的价值评估与课程学习机制。

研究机构
AI Cloud Group, Baidu 清华大学 University of California, San Diego
论文信息
作者 Ziqi Jia, Yalu Ouyang, Bo Pang, Panpan Li, Hangfei Xu et al.
发布日期 2026-08-04
arXiv ID 2608.03068
相关性评分 9/10 (高度相关)