摘要
多模态大语言模型(MLLMs)常因密集且冗余的图像令牌稀释关键视觉线索,导致细粒度视觉推理失败。现有方法多将思维链扩展至视觉空间,却忽视了冗余令牌的负面影响。本文提出潜在噪声掩码(Lens),一种基于问题的视觉证据净化框架,使 MLLMs 能在潜在空间利用更清晰的线索进行推理。Lens 引入轻量级证据令牌对视觉令牌相关性评分,并自适应地向低相关性令牌注入潜在噪声以抑制干扰,无需修改模型主干。实验表明,该方法在多个 VQA 和定位任务上显著提升了基线模型性能。
AI 推荐理由
论文核心解决多模态细粒度推理失败问题,通过净化视觉冗余提升推理能力。
研究机构
School of Artificial Intelligence, OPtrics and ElectroNics (JOPE), Northwestern Polytechnical University
The University of Hong Kong
Institute of Artificial Intelligence, China Telecom (TeleAI)
Fudan University
论文信息