Self-Evolving Reinforcement Learning External State Management Long-Horizon Agents
摘要

针对长周期LLM Agent对外部执行支持(如状态维护、工具调用)的依赖,现有方法多依赖人工工程化设计。本文提出EvoHarness-RL,旨在让Agent离线学习Harness策略,在线构建和更新外部状态。该方法暴露信念、进度和经验(BPE)作为策略状态,通过监督微调教授基础动作空间,并利用成本感知的GRPO算法探索协调策略以选择性读写和整合状态。在ALFWorld上的实验表明,该框架不仅实现了高成功率,还揭示了“Harness退火”和“Harness演化”两种关键动态,证明可训练的策略能显著提升Agent与外部工作区的协作能力。

AI 推荐理由

论文核心研究Agent的自我进化机制,特别是通过强化学习实现Harness策略的自适应优化与状态演化。

研究机构
University of Illinois Urbana–Champaign Meta AI
论文信息
作者 Xuying Ning, Dongqi Fu, Tianxin Wei, Hanqing Zeng, Yuanchen Bei et al.
发布日期 2026-08-05
arXiv ID 2608.05446
相关性评分 9/10 (高度相关)