Spatial Reasoning Cognitive Map Multimodal Foundation Models 3D Reconstruction
摘要

针对多模态基础模型空间推理鲁棒性不足的问题,本文提出 World2Mind,一种无需训练的空间智能工具包。受生物空间认知映射启发,该方法利用 3D 重建与实例分割构建结构化空间认知地图,并合成自我中心空间树(AST)以提供几何拓扑先验。通过包含工具调用评估、模态解耦线索收集及几何语义交织推理的三阶段推理链,有效 mitigates 3D 重建误差。实验表明,该方法显著提升了前沿模型的空间推理性能,甚至使纯文本模型具备复杂的 3D 空间推理能力。

AI 推荐理由

论文核心提出三阶段推理链及空间认知地图,旨在解决基础模型的空间推理难题。

研究机构
人工智能研究院,北京大学 华为诺亚方舟实验室 计算机科学与技术系,清华大学-伯克利联合机器学习中心,THBI实验室,BNRist中心,清华大学
论文信息
作者 Shouwei Ruan, Bin Wang, Zhenyu Wu, Qihui Zhu, Yuxiang Zhang et al.
发布日期 2026-03-10
arXiv ID 2603.09774
相关性评分 9/10 (高度相关)