地理定位 多模态大模型 具身智能 可操作推理
摘要

地理定位任务需要丰富的世界知识和复杂的推理能力。尽管先进的大型多模态模型(LMMs)具备上述能力,但其在地理定位上的表现尚未被充分探索。为此,我们推出了 WanderBench,这是首个面向具身场景中可操作地理定位推理的开放基准,包含六大洲超过 3.2 万张全景图,构建为支持旋转和移动等物理动作的可导航图。基于此,我们提出了 GeoAoT(思维行动)框架,将推理与具身动作相结合。GeoAoT 不生成文本推理链,而是产生如接近地标或调整视角等可操作计划,以主动减少不确定性。实验表明,该方法在动态环境中实现了更优的细粒度定位和更强的泛化能力。

AI 推荐理由

提出 GeoAoT 框架,将推理与具身动作结合,核心在于通过可操作推理提升定位能力。

研究机构
上海交通大学 上海人工智能实验室
论文信息
作者 Yushuo Zheng, Huiyu Duan, Zicheng Zhang, Xiaohong Liu, Xiongkuo Min
发布日期 2026-03-11
arXiv ID 2603.10463
相关性评分 9/10 (高度相关)