Robot Learning Vision-Language Model Manipulation Skills Affordance Prediction
摘要

从人类视频中学习操作技能对可扩展机器人学习极具潜力,但人机具身差异构成挑战。本文提出一种框架,利用第一人称视频及3D重建技术提取与具身无关的可行动affordances(如视觉、抓取和轨迹)。我们构建了包含20.4万集的大规模数据集EgoAffordance,并提出了基于大视觉语言模型的统一基础模型VLAff。该模型能根据视觉观测和指令生成affordance热力图、抓取姿态和轨迹,进而转化为可执行动作。实验表明,VLAff在affordance预测上达到SOTA,并能有效应用于零样本操作等真实机器人场景。

AI 推荐理由

论文核心在于通过视觉-语言模型学习机器人的操作技能(抓取、轨迹),属于典型的技能学习与工具/动作执行范畴。

研究机构
东京大学
论文信息
作者 Jihoon Oh, Kento Kawaharazuka, Kei Okada
发布日期 2026-08-05
arXiv ID 2608.05215
相关性评分 9/10 (高度相关)