摘要
尽管视觉语言模型(VLMs)在常识推理任务中表现优异,但在视觉空间推理方面仍面临挑战。现有解决方案通常引入额外的3D先验输入或外部空间编码器,这增加了复杂性并在微调后削弱了VLM的通用能力。为此,我们提出了参数高效的SpatioLM,旨在无需额外3D先验或第三方编码器的情况下增强空间智能。具体而言,我们设计了一种即插即用且非侵入式的空间视觉模块,以激发VLM固有的空间知识。此外,创新性地利用伪深度和相机信息作为监督信号,指导模型学习物理一致的表示。实验表明,SpatioLM在空间感知和理解等多样化任务中取得了显著改进,同时有效限制了通用能力的退化。值得注意的是,该模型在VSI-Bench上取得了71.6分的优异成绩(首个突破70分的模型),并在具身操作任务转移中表现出竞争力。
AI 推荐理由
论文核心解决视觉语言模型的空间推理能力不足问题,通过增强物理空间智能直接提升推理性能。
研究机构
清华大学
北京智源人工智能研究院
论文信息