LVLM Visual Forgetting Attention Mechanism Reinforcement Learning
摘要

大型视觉语言模型(LVLM)虽具备强大推理能力,但在长程解码中常出现视觉遗忘,导致注意力偏离视觉证据。本文发现性能下降主要源于早期注意力衰减及无关视觉汇点 tokens 的过度集中。为此,提出 LASER 后训练框架,引入视觉 grounding 奖励以维持对显著 token 的关注,并利用汇点抑制奖励防止注意力坍塌。实验表明该方法在八个基准数据集上显著优于基线,有效缓解了视觉遗忘问题。

AI 推荐理由

论文核心解决 LVLM 长程推理中的视觉遗忘问题,通过优化注意力机制提升推理可靠性。

研究机构
The University of Queensland
论文信息
作者 Bowen Yuan, Zijian Wang, Yadan Luo, Shijie Wang, Zi Huang
发布日期 2026-07-02
arXiv ID 2607.01707
相关性评分 9/10 (高度相关)