摘要
尽管机器人基础模型能力日益增强,但主流模型多为闭源且依赖专有数据,限制了下游用户的适应性。针对管理型SFT API无法利用强化学习等闭环信号的问题,本文研究了在真实类人机器人上的适应效果。我们提出CLFT(闭环迭代微调),将部署时的奖励反馈转化为API兼容的监督数据,在不访问模型权重或梯度的情况下实现策略的闭环改进。实验表明,该方法使GROD模型在两轮飞轮循环后,于敏捷接触任务中达到了近乎完美的成功率。
AI 推荐理由
论文提出CLIFT方法,通过闭环迭代微调实现Agent策略的自我改进与自适应,核心在于持续优化机制。
研究机构
University of California, Berkeley
Google DeepMind
NVIDIA Research
论文信息