Reinforcement Learning Search Agents Confirmation Bias Evidence-based Reasoning
摘要

搜索代理使大语言模型能够超越静态参数记忆,在多步推理中获取并利用外部证据。然而,现有方法主要奖励最终答案的正确性,未直接评估检索后动作是否基于证据,导致先验驱动的推理和确认偏误。为此,我们提出上下文信息策略优化(CIPO),这是一种以证据为导向的强化学习框架,显式地将策略优化与外部证据使用对齐。CIPO为受检索信息影响的推理动作分配密集的回合级信用,并结合全局结果奖励以保持答案正确性。实验表明,CIPO减少了先验驱动推理,并在多个基准上取得了优异性能。

AI 推荐理由

论文旨在解决搜索Agent中的确认偏误,通过强化学习优化基于检索证据的推理过程,直接提升逻辑推理质量。

研究机构
北京航空航天大学国家卓越工程师学院 北京航空航天大学人工智能学院 中国传媒大学媒体融合与通信国家重点实验室
论文信息
作者 Xingyu Guo, Wei Chen, Linlin Yang, Baochang Zhang
发布日期 2026-08-06
arXiv ID 2608.06128
相关性评分 9/10 (高度相关)