摘要
针对长程智能体强化学习中奖励稀疏与延迟导致的信用分配粗糙问题，本文提出群组图策略优化（G2PO）算法。该方法将线性交互轨迹转化为全局状态转移图，通过聚合不同轨迹中的相同观测以降低方差，并提出基于边的优势估计策略。通过在 WebShop 等基准上的实验，G2PO 显著优于现有提示工程及强化学习基线，大幅提升了长程任务的成功率。
AI 推荐理由
论文针对长程智能体任务中的规划难题，提出基于图结构的策略优化方法，核心解决多步计划与信用分配问题。
研究机构
北京大学
Microsoft Corporation
论文信息