可解码不等于有根基：一种用于 VLM 空间推理的视觉消融仲裁器

本文指出，通过线性探测和引导恢复提取模型潜在知识的标准方法，会系统性高估视觉语言模型（VLM）在图像中的实际 grounding 能力。以空间推理为例，作者提出一种简单的因果控制方法（用灰图替换图像），揭示了探测法无法发现的错误。研究发现 VLM 存在三种 grounding 机制：真实感知、先验替代及符号反转。该分类在多个模型家族中具有一致性，且提出了无需训练或低秩编辑的修正策略。文章主张将此仲裁器作为 VLM 潜在知识研究的默认对照实验。