embodied AI multimodal learning task planning affordance grounding
摘要

部分级功能定位已推进了与基本动作相关的物体区域定位。将其扩展至复杂任务需连接参与对象的语义角色、与任务状态对齐的视觉观察及多步规划。本文提出 EgoAfford 基准,旨在连接这三方面。给定第一人称观察和高层桌面任务,模型需生成剩余计划并分割下一个动作中直接对象、工具和目的地的功能区域。EgoAfford 包含约1.55万张人工验证图像及真实数据集。我们进一步提出3B多模态大模型 EgoLens,作为该联合任务的域内参考模型。评估突显了下一步推理与动作角色条件化部分定位的挑战。

AI 推荐理由

论文核心在于多步任务规划与视觉感知的结合,直接涉及任务分解和下一步动作推理。

研究机构
上海交通大学 上海创新研究院 Neomatrix Ltd
论文信息
作者 Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu et al.
发布日期 2026-08-05
arXiv ID 2608.04533
相关性评分 9/10 (高度相关)