Reinforcement Learning Mathematical Reasoning LoRA GRPO
摘要

针对基于可验证奖励的强化学习(RLVR)在数学推理中存在的结构性盲点,即当所有采样 rollout 均失败时梯度为零的问题,本文提出了 LoRA 支架策略优化(LSPO)。该方法在采样阶段检测“悬崖”提示,利用真实解拟合小型 LoRA 适配器进行监督学习,重新生成成功轨迹并通过重要性采样修正将其融入 RL 批次,最终仅更新基础模型。实验表明,LSPO 在多个数学基准测试中显著优于基线方法,有效恢复了模型在能力边界处的学习梯度。

AI 推荐理由

论文核心解决数学推理中的 RL 梯度消失问题,直接提升模型推理能力。

研究机构
NVIDIA
论文信息
作者 Ken Ding
发布日期 2026-07-30
arXiv ID 2607.27787
相关性评分 9/10 (高度相关)