Visual Reasoning Tool Use LLM Analysis
摘要

增强型视觉语言模型常通过调用裁剪、缩放等工具并分析返回的像素图像进行“视觉推理”。然而,近期研究表明返回的图像对性能提升贡献甚微。本文假设真正的关键信号是工具调用时生成的结构化文本(如工具名、坐标、意图),即“文本支架”。为此,我们提出TextCall方法,保留文本支架但用占位符替换返回图像。实验证实,仅凭文本支架即可达到与完整视觉输入相当的准确率,且能显著降低延迟并避免模型过早停止工具调用的问题。这支持了“工具调用支架假说”,即当前视觉推理中,结构化文本是主要负载信号,而返回图像往往是冗余载体。

AI 推荐理由

论文深入探讨视觉推理中模型依赖文本结构而非像素进行逻辑推导的机制,直接关联推理能力的本质。

研究机构
香港科技大学 浙江大学 蚂蚁集团 香港中文大学
论文信息
作者 Jiahao Shao, Yuanbo Yang, Yiyi Liao, Yujun Shen, Ceyuan Yang et al.
发布日期 2026-08-10
arXiv ID 2608.09682
相关性评分 9/10 (高度相关)