摘要
针对长周期LLM Agent对外部执行支持(如状态维护、工具调用)的依赖,现有方法多依赖人工工程化设计。本文提出EvoHarness-RL,旨在让Agent离线学习Harness策略,在线构建和更新外部状态。该方法暴露信念、进度和经验(BPE)作为策略状态,通过监督微调教授基础动作空间,并利用成本感知的GRPO算法探索协调策略以选择性读写和整合状态。在ALFWorld上的实验表明,该框架不仅实现了高成功率,还揭示了“Harness退火”和“Harness演化”两种关键动态,证明可训练的策略能显著提升Agent与外部工作区的协作能力。
AI 推荐理由
论文核心研究Agent的自我进化机制,特别是通过强化学习实现Harness策略的自适应优化与状态演化。
研究机构
University of Illinois Urbana–Champaign
Meta AI
论文信息