Reinforcement Learning LLM Agents Policy Optimization Long-horizon Planning
摘要

针对基于组的逐步强化学习在长程 LLM Agent 训练中存在的状态 - 动作信用分配不匹配问题，本文提出 BiPACE 方法。该方法利用演员网络隐藏状态的余弦距离进行双模拟引导聚类，解决观测哈希导致的组稀疏问题；并通过动作条件的同伴基线重新中心化回报，非参数化估计局部优势。实验表明，BiPACE 在 ALFWorld、WebShop 等基准上显著优于 GiGPO 和 GRPO，以极低计算开销实现了更高的任务成功率。

AI 推荐理由

论文提出 BiPACE 优化长程任务策略，直接提升 Agent 多步规划与决策能力。

研究机构
University of Chicago The Hong Kong University of Science and Technology (Guangzhou) Stanford University University of Science and Technology of China
论文信息
作者 Hanyang Wang, Weijieying Ren, Yuxiang Zhang, Ding Cao, Zhizhao Zeng et al.
发布日期 2026-06-24
arXiv ID 2606.25556
相关性评分 9/10 (高度相关)
arXiv 页面 下载 PDF Code DeepWiki