摘要
人类能轻松跨越不同视角进行场景推理，而视觉语言模型（VLM）是否具备此能力尚不明确。本文引入 CVSBench，一个基于卫星 - 街景配对的大规模基准，用于评估跨视图空间推理。该基准包含跨视图问答、定位及视角识别等任务。评估显示，先进 VLM 在剧烈视角变化下难以保持对象与布局一致性。为缩小差距，本研究探索了空间接地推理与认知地图输入。结果表明，仅靠语言推理改进有限，而通过 3D 场景构想管道融入视觉空间想象可显著提升推理性能，凸显了显式视觉空间表示对稳健空间认知的必要性。
AI 推荐理由
论文核心评估并提升 VLM 的跨视图空间推理能力，提出基于认知地图的推理方法。
研究机构
Faculty of Electronic and Information Engineering, Xi'an Jiaotong University
Ministry of Education Key Laboratory of Intelligent Networks and Network Security
论文信息