摘要
训练基于LLM的搜索代理需要高质量的多跳检索任务及有效的工具使用轨迹。现有方法多依赖人工数据或教师模型。本文提出SearchMaster,一种自我博弈框架,使单个LLM在本地环境中生成、解决并验证搜索任务。针对自生成数据可能产生的误导信号,该框架引入三项控制机制:证据链生成器(ECG)以显式跨文档证据链为基础减少伪多跳问题;搜索深度奖励(SDR)依据成功轨迹的深度而非仅成功率来评估难度;过度打开惩罚(OOP)抑制无效的大量文档浏览。结合GRPO联合优化提议者与求解者轨迹,在六个深度搜索基准上显著提升了Qwen3.5-9B的性能,证明了无需人工标注即可有效训练搜索Agent。
AI 推荐理由
论文核心聚焦于搜索Agent的工具使用(Search tools)优化,通过自我博弈框架提升工具调用效率与准确性。
研究机构
京东未来学院,北京
论文信息