摘要
针对可验证奖励强化学习（RLVR）在高难度提示下因采样缺失正确轨迹而受阻的问题，本文提出 LatentRevise 方法。该方法将“零命中”提示视为采样前沿，利用失败 rollout 和金标答案作为锚点，在词汇嵌入的凸包约束下优化推理前缀的输入嵌入。通过双梯度引导，使潜在表示远离失败路径并趋向正确答案。实验表明，修正后的前缀能生成包含自我反思的更长轨迹，显著提升数学基准测试上的 SFT 和 RLVR 性能。
AI 推荐理由
论文核心解决 RLVR 中推理失败问题，通过潜在空间修正提升数学推理能力。
研究机构
复旦大学
微软亚洲研究院
上海人工智能实验室
上海交通大学
论文信息