Reinforcement Learning LLM Reasoning Training Efficiency GRPO Mathematical Reasoning
摘要

针对基于可验证奖励的强化学习(RLVR)中 GRPO 方法因生成大量冗长思维链而导致计算昂贵且不稳定的问题,本文提出了方差引导的在线 Rollout 分配(VIGOR)方法。该方法不再为每个样本分配固定预算,而是根据组奖励方差动态迭代地分配额外 rollout。理论证明奖励方差控制梯度大小,并推导了加速比。实验表明,VIGOR 在数学和编码任务上显著减少了所需 rollout 数量,同时提升了准确率。

AI 推荐理由

论文核心旨在通过优化 RL 训练效率来提升 LLM 在数学和编码任务中的推理能力。

研究机构
University of California, Los Angeles
论文信息
作者 Heyang Jiang, Henry Liu, Baharan Mirzasoleiman
发布日期 2026-07-24
arXiv ID 2607.22002
相关性评分 9/10 (高度相关)