Reinforcement Learning Credit Assignment LLM Reasoning RLVR
摘要

可验证奖励强化学习(RLVR)推动了大模型在推理任务上的进展,但现有方法如 GRPO 对所有 token 均匀分配信用,导致关键推理步骤激励不足。现有细粒度方法依赖外部资源或教师模型,限制了纯 RLVR 场景的应用。本文提出 SC-GRPO,利用模型在自身验证轨迹上的自条件分布差异作为梯度权重,无需外部监督。实验表明,该方法在数学、代码及智能体任务上显著优于基线,并展现出更强的泛化性能。

AI 推荐理由

论文核心针对数学、代码等推理任务,提出改进 RL 信用分配机制以提升推理能力。

研究机构
北京理工大学
论文信息
作者 Yingyu Shan, Yuhang Guo, Zihao Cheng, Zeming Liu, Xiangrong Zhu et al.
发布日期 2026-06-17
arXiv ID 2606.18810
相关性评分 9/10 (高度相关)