Reinforcement Learning LLM Optimization Reasoning GRPO
摘要

基于组的强化学习目标(如GRPO)在提示难度分布不均时可能导致学习信号分配不当:在二元奖励下,组归一化会对简单提示产生发散的权重。本文提出Softmax Advantage Group Estimation (SoftmaxGRPO),一种即用型替代方案,用温度缩放的Softmax优势取代Z-score标准化的组优势,确保权重有界。理论推导表明,对于二元奖励,其低温度极限为MaxRL;对于有界标量奖励,大组更新精确优化对数矩生成函数目标。实验显示,SoftmaxGRPO将梯度预算从已解决的提示中重新分配,在DeepMath上达到51.8%,并在仅使用轻量级文本相似度奖励的情况下,将1.5B指令微调模型的诗歌生成准确率从35.0%提升至68.0%。

AI 推荐理由

论文旨在通过改进强化学习算法提升LLM在数学推理等复杂任务上的表现,核心聚焦于推理能力的优化。

研究机构
Rice University
论文信息
作者 Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez
发布日期 2026-08-10
arXiv ID 2608.09271
相关性评分 9/10 (高度相关)