摘要
人类常通过推理身体与周围物体的 3D 邻近关系来指导日常感知与行动。为探究多模态大模型(MLLMs)是否具备此类具身 3D 推理能力,本文提出 EgoProx 基准。该基准沿认知链组织任务,涵盖意图、探索、利用及行动链推理,并设计基于智能体的数据引擎以规模化生成多样且一致的问答对。实验表明,当前 MLLMs 虽具备一定空间知识,但在有效利用其进行空间推理视觉问答方面仍面临挑战。
AI 推荐理由
论文核心评估 MLLM 在自我中心 3D 邻近性上的推理能力,构建认知层级基准。
研究机构
College of AI, Tsinghua University
ByteDance
State Key Laboratory of General Artificial Intelligence, BIGAI
论文信息