VLM Self-Reflection Textual Shortcuts Reasoning Correction
摘要

视觉语言模型(VLM)应在视觉证据变化时修正其推理过程。然而,先前思维链中包含证据的推理内容可能形成“文本捷径”,与基于当前图像的重新计算相竞争,导致模型未能有效更新观点。本研究通过对16种VLM的反事实分析,证实了携带证据的内容是维持先验影响的最稳健载体。为限制这种影响,作者提出了无需训练的干预方法“新鲜状态注意力防火墙”(FSAF),通过隔离新鲜计算与先前的思维链,显著提高了视觉更新率并降低了先验答案的重复率。研究表明,可靠的VLM自反思不仅需要重新观察,还需保护新鲜视觉计算免受陈旧文本复用的干扰。

AI 推荐理由

论文深入探讨VLM在视觉证据变化时的推理修正机制,诊断并解决思维链中的文本捷径问题,直接关联推理能力。

研究机构
北京理工大学计算机科学学院 京东科技 西安交通大学人工智能与机器人学院
论文信息
作者 Wenxiao Fan, Jingling Fu, Fang Li, Luohang Liu, Yu He et al.
发布日期 2026-08-03
arXiv ID 2608.01930
相关性评分 9/10 (高度相关)