Multimodal LLMs Reasoning Gap Prompt Grounding
摘要

多模态大语言模型越来越多地基于截图和文档进行推理,但现有基准测试通常将问题以文本形式呈现,导致模型跨通道处理指令的能力不明确。本文引入可视化任务语义(VTS)作为受控干预,将问题移至图像中。实验显示,所有模型的准确率平均下降17.8分,暴露出超越OCR的语义通道差距。为此,我们提出提示-区域定位方法,通过对齐问题区域与类型化语义并恢复其清洁表示,显著提升了VTS基准上的准确率,同时保持原有接口性能。研究表明,读取任务文本并将其作为推理指令进行定位是两种不同的能力。

AI 推荐理由

论文直接研究多模态大模型在视觉提示下的推理能力缺陷及增强方法,核心聚焦于推理机制。

研究机构
Mohamed bin Zayed University of Artificial Intelligence Transnion Sun Yat-sen University University of Science and Technology of China
论文信息
作者 Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao et al.
发布日期 2026-08-05
arXiv ID 2608.04726
相关性评分 9/10 (高度相关)