摘要
多模态大语言模型在涉及视角转换的空间推理任务中表现不佳,常依赖相机中心线索而非参考对象视角,导致系统性错误。本文分析指出物体朝向是关键因素,并提出 OrientSAM 框架。该框架通过方向感知令牌和基于傅里叶的角度编码注入显式朝向信息,并结合课程学习策略逐步提升视角感知推理能力。此外,构建了空间数据流水线以生成大规模监督数据。实验表明,该方法在非相机视角及方向敏感任务上显著优于基线,证实了显式朝向建模对增强异中心空间推理的重要性。
AI 推荐理由
论文核心解决多模态模型的空间推理缺陷,提出新框架提升视角转换推理能力。
研究机构
北京科技大学计算机学院
论文信息