Visual Reasoning Multimodal LLM Interpretability Grounding
摘要

多模态大语言模型在视觉问答中表现优异,但其黑盒特性限制了关键领域的应用。现有接地视觉推理方法虽试图通过文本坐标关联理由与视觉信息,却常因缺乏可学习的语义链接导致语义 - 空间差距及幻觉。本文提出 Composer 模型,利用学习到的离散代理 Token 作为符号指针索引图像潜在空间,使模型能将视觉区域视为可寻址且语义可操作的集合。实验表明,该方法在保持答案准确率的同时,将视觉接地准确率提升了 9.0 个点,证明了具有可学习语义链接的机制是构建可信多模态模型的有效路径。

AI 推荐理由

论文核心提出基于代理 token 的视觉推理机制,解决幻觉问题,提升推理可信度。

研究机构
Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France
论文信息
作者 Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch
发布日期 2026-06-22
arXiv ID 2606.23354
相关性评分 9/10 (高度相关)