Search Agent Reinforcement Learning Multi-step Reasoning Empirical Study
摘要

大型语言模型驱动的搜索智能体可通过多步推理自主分解查询、检索信息并综合答案。然而,训练方法的快速增长超越了受控比较的进度,现有工作在检索语料、奖励设计及训练协议上差异巨大,导致改进动因不明。本文通过受控实证研究,隔离了搜索智能体训练的三个关键维度:首先,指出广泛使用的 Wikipedia 2018 语料存在数据覆盖问题,修正该问题带来的增益超过算法差异;其次,系统比较基于结果与基于过程的奖励方法,发现简单的基于结果方法在多数场景下表现更优;最后,分析数据多样性及搜索预算扩展,提炼出有效训练指南。

AI 推荐理由

论文核心研究搜索智能体的多步推理训练,涉及奖励设计与数据协议对推理能力的直接影响。

研究机构
School of Data Science and Engineering, East China Normal University Shanghai AI Laboratory
论文信息
作者 Yibo Zhao, Zichen Ding, Jiayi Wu, Zun Wang, Xiang Li
发布日期 2026-05-27
arXiv ID 2605.27881
相关性评分 8/10 (高度相关)