摘要
针对基于可验证奖励的强化学习(RLVR)在数学推理中存在的结构性盲点,即当所有采样 rollout 均失败时梯度为零的问题,本文提出了 LoRA 支架策略优化(LSPO)。该方法在采样阶段检测“悬崖”提示,利用真实解拟合小型 LoRA 适配器进行监督学习,重新生成成功轨迹并通过重要性采样修正将其融入 RL 批次,最终仅更新基础模型。实验表明,LSPO 在多个数学基准测试中显著优于基线方法,有效恢复了模型在能力边界处的学习梯度。
AI 推荐理由
论文核心解决数学推理中的 RL 梯度消失问题,直接提升模型推理能力。
研究机构
NVIDIA
论文信息