摘要
尽管多模态大语言模型进展显著，但从 2D 图像理解 3D 空间关系仍是挑战。现有方法依赖符号文本令牌，难以表达连续几何信息；而单一潜表示无法适应多样空间任务。为此，本文提出 GeoAnchor，一种交错文本 - 潜推理框架。该方法将 3D 空间信息分解为位置、方向和几何三种互补潜变量，并在结构化空间中重组以构建局部证据并捕捉全局上下文，从而实现动态可解释的推理。此外，引入协同训练策略引导模型从局部感知迈向全面 3D 理解。实验表明其在复杂 3D 推理任务上优于最先进方法。
AI 推荐理由
论文提出潜空间分解框架以增强 3D 空间推理，核心聚焦于推理机制与架构创新。
研究机构
Shanghai Jiao Tong University
Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.
University of Science and Technology Beijing
The Hong Kong University of Science and Technology (Guangzhou)
论文信息