摘要
针对现有后训练方法与多步推理动态不匹配的问题，本文提出 REVES 框架。该方法通过两阶段迭代流程，交替进行在线数据增强与策略优化，将成功恢复轨迹中的中间步骤转化为解耦的修正与验证提示。此举不仅聚焦于答案转换与错误识别，还实现了高效的离策略数据生成，降低了长程采样的计算开销。在 LiveCodeBench 等基准测试中，该方法显著优于 RL 基线及标准多轮训练，并在小规模模型上达到了数学与约束满足问题的最先进水平。
AI 推荐理由
论文核心研究通过迭代修正与验证增强 LLM 推理能力，属于推理机制的深度优化。
研究机构
Northwestern University
Amazon AGI
University of Minnesota
Qualcomm AI Research
论文信息