Credit Assignment Reinforcement Learning LLM Agents Bellman Equation
摘要

在长视界环境中训练大语言模型智能体时,需将稀疏的终端结果奖励分配给单个动作。现有方法存在局限:无评论家方法均匀传播轨迹级奖励,而近期方法依赖固定权重的融合。本文提出Gated-BEPO,从经验 rollout 图中推导步骤级信用。该方法构建经验图并通过反映当前策略分布的平均备份贝尔曼不动点估计节点值,利用广义优势估计累积时序差分残差,以捕捉即时和下游效应。此外,引入置信度门控自适应融合 episode 和 step 级信用。实验表明该方法在 WebShop 等基准上显著提升了语言和视觉语言模型的性能。

AI 推荐理由

论文针对长视界环境下的Agent训练,通过改进信用分配机制优化多步规划中的动作评估与价值估计。

研究机构
虚拟现实技术与系统国家重点实验室,北京邮电大学,中国北京 中讯邮电咨询设计院有限公司,中国北京 高通公司,中国北京
论文信息
作者 Hongxi Yan, Ziyue Huang, Shichao Fan, Qingjie Liu
发布日期 2026-08-07
arXiv ID 2608.06861
相关性评分 9/10 (高度相关)