摘要
视觉语言模型在多模态推理基准上表现优异,但视觉证据进入语言栈后往往变得不稳定,削弱了基于证据的推理。本文通过机械视角审视 VLM 内部动态,发现跨深度的多模态注意力焦点存在稳定的三阶段重分布:早期问题条件化组织、关键的中期视觉主导中继及晚期答案形成回归。基于此,作者提出 TRACE,一种任务自适应的推理时控制框架,通过轻量级模块重塑预填充阶段的中继分配并保留解码阶段的视觉支持。实验表明,该方法显著提升了接地敏感任务和重推理任务的性能。
AI 推荐理由
论文核心研究通过控制多模态注意力机制来增强视觉证据支撑的推理能力,直接针对推理稳定性。
研究机构
School of Computer Science and Technology, Tongji University
School of Fashion and Textiles, The Hong Kong Polytechnic University
School of Artificial Intelligence, Shanghai Jiao Tong University
论文信息