摘要
针对深度搜索代理强化学习中存在的轨迹级评分与具体动作信用不匹配问题,本文提出 STAMP 方法。该方法利用基于参考的验证器判断引用文档是否支持证据图中的实体或关系,并通过首次曝光归因追踪支撑性引用的来源动作。引入保符号优势调制机制,在不改变轨迹级奖励的前提下重新分配步级优势。实验表明,STAMP 在多个基准测试上显著优于基线模型,有效提升了代理的推理与搜索能力。
AI 推荐理由
论文核心解决深度搜索中的推理归因问题,通过细粒度奖励分配提升逻辑推理准确性。
研究机构
Baidu Inc.
Peking University
论文信息