摘要
针对机器人基础模型难以适应新任务变体或用户偏好行为的问题,本文提出 WAM-TTT,一种基于原始人类视频的测试时训练框架。该方法不将人类视频视为模仿轨迹,而是通过自监督视频预测将其融入冻结世界动作模型内的轻量级自适应记忆中。引入元训练阶段,利用配对的人机数据和键值记忆重建目标,使记忆能有效服务于控制。测试时仅需无标签人类视频即可调整记忆,无需机器人动作、人工标注或特定任务微调,同时保留基础模型的泛化能力。实验表明其在多种操作任务中优于现有基线。
AI 推荐理由
论文核心提出轻量级自适应记忆机制,通过视频预测吸收人类演示以引导模型,属记忆架构研究。
研究机构
Peking University
CASIA
Tsinghua University
论文信息