工具总是有益的吗？学习自适应调用工具以实现双模式多模态大模型推理

工具增强推理是提升多模态大语言模型（MLLM）能力的重要方向，但现有研究多关注如何调用工具，忽视了调用的必要性。本文指出冗余或不恰当的工具调用会增加开销甚至误导预测。为此，我们提出 AutoTool，该模型能根据查询特征自适应决定是否调用工具。在强化学习框架下，设计了显式的双模式推理策略及特定奖励函数，平衡工具辅助与文本中心推理。实验表明，AutoTool 在 V*基准上准确率提升 21.8%，在 POPE 基准上效率提升 44.9%。