视觉语言模型中空间推理的双重机制

许多多模态任务要求视觉语言模型（VLM）将物体与其属性及空间关系相关联。本文揭示了 VLM 依赖两种并发机制来实现这种关联：语言模型骨干网的中间层在视觉令牌上表征内容无关的空间关系，但仅起次要作用；主导性的空间信息源自视觉编码器，其表征编码了物体布局并被骨干网直接利用。研究发现该空间信号全局分布于所有视觉令牌中。通过增强这些源自视觉的全局空间表征，显著提升了自然图像上的空间推理性能，阐明了 VLM 内空间关联的计算方式。