Tool Use Multi-Agent VLM Faithfulness Reinforcement Learning
摘要

针对代理视觉语言模型中普遍存在的工具调用不忠实问题(如裁剪无关区域却仍获高分),本文提出 FaithEyes 框架。该方法利用多智能体自我评判机制,由子智能体评估过程图像对回答问题的有效性,并将判断结果注入推理上下文及用于缩放工具奖励,从而抑制奖励黑客行为。该框架无需外部模型即可在推理阶段保持一致性。实验表明,FaithEyes 在提升工具忠实度的同时,在多个视觉感知与推理基准上取得了具有竞争力的准确率。

AI 推荐理由

论文核心解决多模态 Agent 工具调用不忠实问题,提出验证框架以提升技能使用可靠性。

研究机构
Samsung Research, Beijing, China Peking University
论文信息
作者 Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang
发布日期 2026-07-30
arXiv ID 2607.28225
相关性评分 9/10 (高度相关)