超越惩罚错误：通过自适应仅正确奖励稳定大推理模型的效率训练

训练大语言模型进行高效推理是一项关键挑战。虽然将长度惩罚奖励融入组相对策略优化（GRPO）旨在减少冗余，但常引发奖励崩溃，严重损害推理能力。本文系统评估发现，GRPO 的组归一化机制导致错误答案受持续长度惩罚时产生发散优势。为此，提出自适应仅正确效率奖励（ACOER），通过将简洁性奖励隔离至正确答案，并结合动态预算归一化与控制回路惩罚调整， robustly 防止结构性和随机性崩溃。实验表明，该方法在减少超 60% token 生成的同时提升了数学推理准确率。