Travel Planning Benchmark Multimodal Retrieval Agent Evaluation
摘要

现有基准多基于 API 范式,忽视了开放网络的复杂性。本文提出 VeriTrip,一个针对非结构化多模态网络语料的可验证基准,旨在评估智能体的鲁棒性。该基准构建多模态检索库,迫使智能体自主协调异构数据查询;同步建立可验证知识库,通过单元格级验证协议量化事实可靠性,区分系统性推理失败与参数幻觉。评估揭示“检索 - 推理权衡”现象:自主检索的认知负荷显著削弱指令保持能力,为下一代规划智能体提供严谨评估基础。

AI 推荐理由

论文提出旅行规划基准,核心评估 Agent 在非结构化环境下的任务规划与推理能力。

研究机构
Institute of Information Engineering, CAS School of Cyber Security, UCAS NLPR & MAIS, Institute of Automation, CAS School of Artificial Intelligence, UCAS
论文信息
作者 Yuting Xu, Jiayi Tian, Jian Liang, Xin Xiong, Hang Zhang et al.
发布日期 2026-05-27
arXiv ID 2605.28683
相关性评分 9/10 (高度相关)