摘要
部分级功能定位已推进了与基本动作相关的物体区域定位。将其扩展至复杂任务需连接参与对象的语义角色、与任务状态对齐的视觉观察及多步规划。本文提出 EgoAfford 基准,旨在连接这三方面。给定第一人称观察和高层桌面任务,模型需生成剩余计划并分割下一个动作中直接对象、工具和目的地的功能区域。EgoAfford 包含约1.55万张人工验证图像及真实数据集。我们进一步提出3B多模态大模型 EgoLens,作为该联合任务的域内参考模型。评估突显了下一步推理与动作角色条件化部分定位的挑战。
AI 推荐理由
论文核心在于多步任务规划与视觉感知的结合,直接涉及任务分解和下一步动作推理。
研究机构
上海交通大学
上海创新研究院
Neomatrix Ltd
论文信息