摘要
多模态模型可通过代码调用视觉工具来弥补感知局限,但现有的“监督微调后强化学习”范式存在监督错位问题。SFT阶段易导致学生模型盲目模仿工具调用模式而非掌握其效用;RL阶段因仅依赖结果奖励,可能抑制有效工具使用或鼓励无效操作。为此,本文提出ToolVision。在SFT阶段,利用多智能体管道探索轨迹,并通过包含学生规模模型的委员会评估逐步证据增益以筛选高质量数据;在RL前,对比有无工具的性能,仅在工具带来显著收益时给予奖励。该方法无需人工标注,自动构建信号。实验表明,ToolVision-8B在多个基准测试中表现优异,超越了现有主流模型。
AI 推荐理由
论文核心聚焦于视觉工具的使用策略(何时及如何使用),属于Agent技能学习与工具调用的范畴。
研究机构
上海交通大学
中国科学院大学
复旦大学
论文信息