Reinforcement Learning Process Reward Multi-turn Reasoning Search Agent
摘要

针对多轮搜索推理中终端结果奖励无法区分中间交互价值的问题,本文提出 LAPO 方法。该方法基于向后留一回合归因,通过替换检索观察为占位符并测量黄金答案似然度的变化,估算每步贡献。LAPO 引入符号一致性门控机制,无需额外奖励模型或裁判,即可实现有效的过程监督。在七个知识密集型问答数据集上,其表现显著优于现有基线,证明了策略衍生的回溯归因在提升多轮代理推理能力方面的有效性。

AI 推荐理由

论文核心研究多轮搜索推理中的过程奖励机制,直接提升推理能力。

研究机构
浙江大学
论文信息
作者 Qiang Zhu, Jiajun Wu
发布日期 2026-07-15
arXiv ID 2607.13501
相关性评分 9/10 (高度相关)