摘要
近期多模态大语言模型难以弥合二维语义理解与三维空间几何间的表征鸿沟。现有模型或依赖昂贵的三维数据,或因单一融合机制导致模态冲突。为此,本文提出 SpaR3D-MoE,一种仅凭稀疏 RGB 输入即可实现自适应空间推理的端到端框架。该方法首先引入自适应时空流形采样机制,构建几何感知图以提取关键帧;其次设计由指令 - 姿态感知路由器驱动的异构几何归纳混合专家系统,动态路由多模态令牌至专用专家,有效解决跨模态冲突。实验表明,该方法在 VSI-Bench 等基准上达到最先进水平。
AI 推荐理由
论文核心解决多模态大模型在 3D 空间几何推理上的短板,提出自适应推理框架。
研究机构
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, China
School of Artificial Intelligence, University of Chinese Academy of Sciences, China
YUKUN Intelligent World, Beijing, China
论文信息