摘要
针对基于可验证奖励的强化学习(RLVR)中 GRPO 方法因生成大量冗长思维链而导致计算昂贵且不稳定的问题,本文提出了方差引导的在线 Rollout 分配(VIGOR)方法。该方法不再为每个样本分配固定预算,而是根据组奖励方差动态迭代地分配额外 rollout。理论证明奖励方差控制梯度大小,并推导了加速比。实验表明,VIGOR 在数学和编码任务上显著减少了所需 rollout 数量,同时提升了准确率。
AI 推荐理由
论文核心旨在通过优化 RL 训练效率来提升 LLM 在数学和编码任务中的推理能力。
研究机构
University of California, Los Angeles
论文信息