VLM 是在看还是在说？揭开视觉重检的幻觉

视觉语言模型（VLM）在推理时常生成“让我再检查一下图像”等自我反思语句。本文通过 VisualSwap 框架探究这些语句是否触发真实的视觉重检，抑或是习得的文本模式。研究构建了包含 800 对图像的 VS-Bench 数据集，实验发现主流模型普遍无法察觉图像替换，准确率下降高达 60%。反直觉的是，思维链模型比指令模型更脆弱。注意力分析表明，用户指令能提升视觉关注，而自生成的反思不能。结论指出当前 VLM 倾向于“说”而非真正“看”。