摘要
多模态大语言模型（MLLMs）虽具备强大推理能力，却常因“视觉懒惰”产生与视觉输入矛盾的幻觉。现有对齐方法过度依赖文本奖励，导致语言捷径偏差。本文提出 VIGIL，一种基于强化学习的后训练框架，将优化重点从数值奖励拟合转向因果视觉 grounding。该方法引入几何约束，最大化视觉输入与生成响应间的互信息，并通过惩罚“盲目自信”实例来纠正模型在视觉遮蔽下的错误确定性。实验表明，VIGIL 在幻觉和推理基准上优于现有方法，且仅需 25% 数据即可达到最先进性能，同时展现出 emergent 空间 grounding 能力。
AI 推荐理由
论文核心解决 MLLM 因视觉懒惰导致的推理幻觉，通过因果视觉对齐提升多模态联合推理能力。
研究机构
UAB
Yale
UNSW
Tulane
Georgia Tech
NEU
OSU
Ulowa
Harvard
论文信息