摘要
组相对策略优化(GRPO)已成为语言模型后训练的标准强化学习方法,但近期研究表明其会削弱基础模型的推理能力,尤其在 Pass@k 指标上表现不佳。本文发现该问题源于 GRPO 过度集中于高概率响应。为此,我们提出 ReCo 重加权方法,通过在响应层面归一化贡献及在 token 层面引入基于方差的比率,解决梯度集中问题。实验表明,ReCo 在多个数学推理基准上显著提升了大 k 值下的 Pass@k 表现。
AI 推荐理由
论文针对 GRPO 削弱模型推理能力的问题提出改进,核心目标是提升数学推理路径的覆盖率。
研究机构
首尔大学研究生院数据科学学院
论文信息