Reinforcement Learning Mathematical Reasoning Credit Assignment Pass@k LLM Optimization
摘要

针对大语言模型强化学习中 token 级优势估计困难及采样成本高昂的问题，本文研究了具有 token 级信用分配的单次 rollout 近端策略优化（SR-PPO）。该方法利用单次 rollouts 的蒙特卡洛结果训练校准的 token 级信用评论器，预测提示前缀的 Pass@k 成功概率。相比 Pass@1，该信号能更好地区分难易前缀，优先关注成功率处于边缘的困难样本。理论证明当 k 趋于无穷时，Pass@k 收敛为可达性指标。实验表明，SR-PPO 在 HMMT26 和 AIME24 等数学推理基准上实现了稳定的学习动态及显著的 Pass@128 成功率提升。

AI 推荐理由

论文提出基于蒙特卡洛 Pass@k 的强化学习新方法，显著提升数学推理基准表现，核心聚焦推理能力。

研究机构
University of Alberta McGill University, Mila Nvidia Research BIGAI University of Toronto CIFAR AI Chair
论文信息
作者 Fengdi Che, Yang Liu, Lei Yu, Meng Cao, Tong Che et al.
发布日期 2026-06-24
arXiv ID 2606.25451
相关性评分 9/10 (高度相关)
arXiv 页面 下载 PDF