摘要
视觉工具使用已成为多模态Agent主动获取证据的关键能力。现有方法通常从教师生成的、仅基于答案正确性过滤的轨迹中学习,但这隐含了错误假设:强教师可能无需工具调用即可得出正确答案,导致学生模仿的是“工具调用伴随正确答案”而非“工具观察支撑答案”。本文提出OpenVisTool框架,仅保留既满足结果有效性又具备因果效用(即工具观察对答案有因果贡献)的轨迹。该框架包含难度筛选、领域特定轨迹合成和监督验证三个阶段。基于此构建的OpenVisTool-42K数据集在多个视觉推理领域显著提升了模型的视觉工具使用性能,证明了有效监督应基于因果 grounding 而非单纯的调用模式。
AI 推荐理由
论文核心聚焦于多模态Agent的视觉工具使用能力,通过构建因果 grounded 的训练轨迹数据,直接提升模型的工具调用与证据获取技能。
研究机构
南京大学
商汤科技
论文信息