摘要
视觉空间理解是从视觉输入推断物体关系与场景布局的关键能力。针对预训练视觉语言模型受限于二维观测的空间不确定性及三维数据匮乏问题,本文提出 SpaceEra++ 框架。该框架通过 ScenePick 帧采样策略平衡空间覆盖与语义信息,并引入 SpaceAlign 模块,联合利用绝对坐标与相对空间关系强化成对物体约束,从而显著提升空间推理精度。实验表明该方法在多个基准上优于现有基线。
AI 推荐理由
论文核心聚焦于提升视频中的 3D 空间推理能力,提出新框架解决空间不确定性问题。
研究机构
IEEE
Senior Member, IEEE
论文信息