面向进度与可靠性的群组策略优化用于代理强化学习

基于群组的强化学习已成为提升大语言模型代理在长程交互任务中表现的有效范式。为解决轨迹级优化的局限，近期研究转向步级群组强化学习，但现有方法在群组构建上存在权衡困境。本文提出 ProGPO，一种无需学习评论家的上下文一致步级学习方法。该方法保留精确前缀动作比较，并结合基于 rollout 的状态势推导过渡信用以补充稀疏的同伴比较。通过在 ALFWorld 和 WebShop 任务上的评估，ProGPO 在相当的计算开销下优于现有基线，并验证了其可扩展性。