摘要
当前视觉语言模型评估常混淆语言先验与真实空间推理。为此,本文提出 CRISP,一种新颖的结构化诊断评估范式,通过一致性(即隐式感知与显式推理的对齐)来评估视觉空间智能。不同于传统黑盒问答,CRISP 利用度量 3D 场景图和预言机干预协议,将潜在推理能力与感知瓶颈解耦。诊断发现系统性感知 - 推理脱节:专有模型虽具强大潜在推理引擎,但度量估计不准且无法利用隐式结构表示;开源模型则受限于缺乏多跳组合推理。CRISP 为超越端到端后训练的多模态对齐提供了严谨路线图。
AI 推荐理由
论文核心在于诊断和提升多模态模型的空间推理能力,解耦感知与推理。
研究机构
查尔姆斯理工大学
论文信息