摘要
本文旨在提升多模态大语言模型在复杂任务中的成功率,重新审视代理视觉推理中的工具使用维度:模式适应性(MA)与工具效应(TE)。针对现有模型在无需工具时误用导致性能下降的问题,提出 Beacon 模型。该模型通过强化学习阶段的“必要性感知自适应奖励”和“提示引导能力扩展”机制,实现基于任务必要性的自适应工具调用,并增强解决高难度问题的能力。实验表明,Beacon 在整体性能、模式适应性及工具实效上均有显著提升。
AI 推荐理由
论文核心研究 Agent 何时及如何调用工具(视觉推理),聚焦工具使用的适应性与效果。
研究机构
北京大学
论文信息