摘要
本文提出 Guava,一个用于具身工具使用的驾驭框架,通过系统探索智能体工作流、动作空间及观察空间的设计得出。研究确定了有效具身智能体的三个关键要素:迭代式的感知 - 推理 - 行动循环、语义动作抽象及多模态观察。作者开发了一套端到端训练流程,将具身操作能力蒸馏至一个 4B 开源模型,仅需少于 2000 条仿真轨迹。实验表明,该模型在仿真与真实环境中表现媲美前沿专有模型,并在未见物体、新指令及长程任务上展现出强大的泛化能力。
AI 推荐理由
论文核心研究具身智能体的工具使用框架(harness),聚焦动作抽象与感知 - 推理 - 行动循环。
研究机构
University of Maryland College Park
University of Illinois Urbana-Champaign
University of Waterloo
Mohamed bin Zayed University of Artificial Intelligence
University of Pennsylvania
Amazon FAR
论文信息