摘要
针对代理视觉语言模型中普遍存在的工具调用不忠实问题(如裁剪无关区域却仍获高分),本文提出 FaithEyes 框架。该方法利用多智能体自我评判机制,由子智能体评估过程图像对回答问题的有效性,并将判断结果注入推理上下文及用于缩放工具奖励,从而抑制奖励黑客行为。该框架无需外部模型即可在推理阶段保持一致性。实验表明,FaithEyes 在提升工具忠实度的同时,在多个视觉感知与推理基准上取得了具有竞争力的准确率。
AI 推荐理由
论文核心解决多模态 Agent 工具调用不忠实问题,提出验证框架以提升技能使用可靠性。
研究机构
Samsung Research, Beijing, China
Peking University
论文信息