摘要
针对长视距搜索智能体在训练中对轨迹内所有步骤一视同仁的问题,本文提出答案回溯信用分配(ABC)框架。该方法将稀疏的轨迹级结果转化为密集的步级监督信号,奖励有用动作并抑制错误动作。具体包括从答案回溯恢复中间线索,以及基于线索锚定对每个搜索步骤进行评分。基于此开发了ABC-SFT和ABC-GRPO算法。实验显示,基于Qwen3.5-4B训练的ABSeeker在BrowseComp等基准上显著优于同规模模型,验证了步级信用分配的有效性。
AI 推荐理由
论文聚焦于长视距搜索Agent的多步动作规划与执行,通过细粒度信用分配优化规划轨迹中的每一步决策。
研究机构
上海交通大学
论文信息