MLLM Chain-of-Thought Inference Optimization Attention Mechanism
摘要

多模态大语言模型(MLLMs)的推理需要细粒度视觉感知和严谨的逻辑演绎。现有的显式文本思维链计算昂贵且易产生幻觉,而隐式推理通常需高昂训练成本。本文指出,现有无训练方法失败源于混淆了感知歧义与逻辑不确定性。为此,我们提出一种无需训练的推理策略,通过新颖的“视觉-文本注意力比率”指标动态评估认知焦点。该框架(AGS)自适应地触发感知令牌的隐式推理以保留高保真视觉信息,同时对逻辑令牌强制执行显式文本生成以维持结构锚定。实验表明,该方法在提升准确率的同时显著提高了推理效率。

AI 推荐理由

论文核心解决多模态大模型的推理机制问题,提出注意力引导的显式/隐式推理切换策略。

研究机构
哈尔滨工业大学(深圳) 清华大学深圳国际研究生院 深圳,中国 鹏城实验室 深圳先进技术研究院
论文信息
作者 Haoqian Kang, Liupeng Li, Kuofeng Gao, Jinpeng Wang, Zhenyu Lu et al.
发布日期 2026-08-04
arXiv ID 2608.03450
相关性评分 9/10 (高度相关)