Tool Use Multimodal Reasoning Reinforcement Learning Agent Adaptivity
摘要

本文旨在提升多模态大语言模型在复杂任务中的成功率,重新审视代理视觉推理中的工具使用维度:模式适应性(MA)与工具效应(TE)。针对现有模型在无需工具时误用导致性能下降的问题,提出 Beacon 模型。该模型通过强化学习阶段的“必要性感知自适应奖励”和“提示引导能力扩展”机制,实现基于任务必要性的自适应工具调用,并增强解决高难度问题的能力。实验表明,Beacon 在整体性能、模式适应性及工具实效上均有显著提升。

AI 推荐理由

论文核心研究 Agent 何时及如何调用工具(视觉推理),聚焦工具使用的适应性与效果。

研究机构
北京大学
论文信息
作者 Qixun Wang, Yang Shi, Letian Cheng, Zhuoran Zhang, Yan He et al.
发布日期 2026-07-30
arXiv ID 2607.28595
相关性评分 9/10 (高度相关)