摘要
本文指出 GRPO、Dr. GRPO 和 DAPO 这三种流行的语言模型推理训练方法并非独立技巧,而是对同一参数(答案采样的标准差)的不同设置。该标准差量化了采样答案间的分歧程度,直接决定训练更新的幅度。论文证明了“群标准差恒等式”,即分歧度精确对应于二值奖励下的更新大小。研究通过 Big-Math 数据集及控制实验验证,表明该归一化步骤决定了学习发生的位置与强度,为优化推理模型提供了统一的理论视角。
AI 推荐理由
论文核心研究提升 LLM 推理能力的训练算法机制,揭示主流方法本质。
研究机构
PhD, University of Illinois at Urbana-Champaign
论文信息