摘要
多模态大语言模型(MLLMs)的推理需要细粒度视觉感知和严谨的逻辑演绎。现有的显式文本思维链计算昂贵且易产生幻觉,而隐式推理通常需高昂训练成本。本文指出,现有无训练方法失败源于混淆了感知歧义与逻辑不确定性。为此,我们提出一种无需训练的推理策略,通过新颖的“视觉-文本注意力比率”指标动态评估认知焦点。该框架(AGS)自适应地触发感知令牌的隐式推理以保留高保真视觉信息,同时对逻辑令牌强制执行显式文本生成以维持结构锚定。实验表明,该方法在提升准确率的同时显著提高了推理效率。
AI 推荐理由
论文核心解决多模态大模型的推理机制问题,提出注意力引导的显式/隐式推理切换策略。
研究机构
哈尔滨工业大学(深圳)
清华大学深圳国际研究生院
深圳,中国
鹏城实验室
深圳先进技术研究院
论文信息