Visual Tool Use Trajectory Synthesis Causal Supervision Multimodal Agents
摘要

视觉工具使用已成为多模态Agent主动获取证据的关键能力。现有方法通常从教师生成的、仅基于答案正确性过滤的轨迹中学习,但这隐含了错误假设:强教师可能无需工具调用即可得出正确答案,导致学生模仿的是“工具调用伴随正确答案”而非“工具观察支撑答案”。本文提出OpenVisTool框架,仅保留既满足结果有效性又具备因果效用(即工具观察对答案有因果贡献)的轨迹。该框架包含难度筛选、领域特定轨迹合成和监督验证三个阶段。基于此构建的OpenVisTool-42K数据集在多个视觉推理领域显著提升了模型的视觉工具使用性能,证明了有效监督应基于因果 grounding 而非单纯的调用模式。

AI 推荐理由

论文核心聚焦于多模态Agent的视觉工具使用能力,通过构建因果 grounded 的训练轨迹数据,直接提升模型的工具调用与证据获取技能。

研究机构
南京大学 商汤科技
论文信息
作者 Changhao Xiang, Shilin Zhang, Zheng Ma, Kanzhi Cheng, Ruize Ma et al.
发布日期 2026-08-09
arXiv ID 2608.08557
相关性评分 9/10 (高度相关)