摘要
代理多模态推理通过允许视觉语言模型(VLM)主动获取和细化视觉证据,超越了被动的图像理解。有效的视觉工具使用需要三种能力:在视觉上下文中定位工具调用、跨多个步骤组合工具,以及根据工具返回的观察结果调整推理。现有方法主要关注固定工具空间内的定位和僵化的调用模式,忽视了组合与适应性。我们提出了VC-Tooler,将视觉工具使用学习为一种组合和自适应的能力。首先,通过分层合成管道构建轨迹库,涵盖单工具定位、多工具组合及多样化上下文。随后分两阶段训练:监督冷启动建立基础能力,强化学习鼓励准确、高效且感知上下文的视觉工具使用。该方法在通用和代理基准测试中达到开源模型的最先进性能。
AI 推荐理由
论文核心研究视觉工具的使用、组合与自适应,直接对应技能学习中的工具调用能力。
研究机构
Alibaba Group
论文信息