想象感知令牌增强多模态语言模型的空间推理能力

视觉语言模型在处理非直接可观测信息的空间推理任务时表现不佳。本文提出“想象感知令牌”（IPT），作为一种中间感知表示，用于外化模型在替代空间配置下的感知内容。通过构建包含视角转换、路径追踪等任务的 dataset，并在 BAGEL 模型上验证，发现 IPT 监督显著提升了空间推理准确率，优于文本思维链方法。研究表明，强制通过语言进行空间计算存在模态不匹配，而 IPT 提供了原则性的监督信号，增强了泛化性与可解释性。