RewardFlow：基于状态图的拓扑感知奖励传播用于大语言模型智能体强化学习

强化学习有望增强大语言模型在外部环境中的智能体推理能力，但终端奖励的稀疏性阻碍了细粒度的状态级优化。尽管过程奖励建模提供了替代方案，但其训练成本高昂且难以扩展。为此，本文提出 RewardFlow，一种专为智能体推理任务设计的轻量级状态级奖励估计方法。该方法利用推理轨迹中状态的内在拓扑结构构建状态图，分析状态对成功的贡献，并通过拓扑感知的图传播量化贡献以生成客观的状态级奖励。在四个智能体推理基准测试中，RewardFlow 作为密集奖励集成到 RL 优化中，显著优于现有基线，展现出卓越的性能、鲁棒性和训练效率。