摘要
通用具身智能体不仅需识别物体,更需基于视觉观察进行空间、动作、意图及常识推理。现有基准难以区分真正的具身推理与模式匹配捷径。本文提出 ERQA-Plus,一个包含 1766 个实例的诊断基准,涵盖感知、行动、社交、导航及常识推理等类别。通过多阶段生成与验证流程确保数据质量。实验表明,即便最强模型在空间和程序推理等方面仍存在显著缺陷。该基准为细粒度评估具身推理能力提供了重要框架。
AI 推荐理由
论文核心是构建诊断基准以评估具身智能中的多种推理能力,直接针对推理机制的细粒度测评。
研究机构
前沿人工智能研究中心,新加坡科技研究局,新加坡
论文信息