RSPO：面向多轮大语言模型智能体的奖励交换策略优化

强化学习在训练大语言模型处理多轮交互任务方面潜力巨大，但在长程稀疏奖励场景下，直接训练往往收敛缓慢且难以覆盖成功轨迹。虽然密集过程奖励能加速收敛，却可能与真实结果奖励不一致，导致性能下降。本文提出奖励交换策略优化（RSPO），利用密集过程丰富的信息辅助结果奖励训练。通过奖励交换机制，RSPO 在保证优化目标与真实结果一致的同时，确保了采样轨迹的多样性，从而提升了模型性能上限。在 WebShop 和 ALFWorld 基准上的实验表明，该方法显著优于多种基线算法。