摘要
针对具身智能体在现实部署中面临的主动探索、视觉定位及交互意图消歧挑战，本文提出 REAL 框架。该框架构建了无需特权感知的仿真到现实一致环境 API，并引入模拟用户以实现人机协同。通过多样化的任务组合驱动数据收集、监督微调及在线强化学习，系统优化智能体性能。实验表明，该智能体在交互任务上成功率达 56.9%，优于主流闭源 VLM。此外，其在物理双臂移动机器人上的零样本迁移成功率达 78.3%，验证了长程移动操作的有效性。
AI 推荐理由
论文核心在于通过分层训练对齐智能体的工具使用能力，解决具身操作中的技能执行问题。
研究机构
上海人工智能实验室
东南大学
新加坡国立大学
浙江大学
牛津大学
论文信息