摘要
多步搜索是搜索型智能体进行复杂推理问答的基础能力,使其能迭代获取、 refine 和整合外部证据。然而,传统的GRPO算法仅基于最终输出分配奖励,导致对中间推理步骤缺乏监督信号,引发训练不稳定及冗余搜索行为。为此,本文提出BiCAA框架,采用过程奖励提供逐步监督。该框架融合前向可解性增益与后验成功关键性两个互补信号,构建双向过程奖励,量化每一步对答案合理性的提升及对最终成功的必要性。实验表明,BiCAA稳定了策略优化,减少了冗余搜索,并在基准测试中取得了竞争性性能。
AI 推荐理由
论文聚焦于多步搜索任务的规划优化,通过双向信用分配机制解决中间步骤的监督稀疏问题,直接提升Agent的任务规划能力。
研究机构
Harbin Institute of Technology, Faculty of Computing
论文信息