面向大语言模型智能体强化学习的语义一致性策略优化

基于组的强化学习虽能有效后训练大语言模型智能体以应对长程稀疏奖励任务，但其将步骤信用与最终结果绑定，导致语义相似的中间步骤因轨迹成败不同而获得相反信用，产生梯度冲突并浪费部分正确进展。为此，本文提出语义一致性策略优化（SCPO），一种无价值函数的奖励重塑方法。该方法通过在同一 rollout 组内利用成功兄弟轨迹恢复失败步骤的信用，对沿成功路径的新进展给予正向奖励。实验表明，SCPO 在 ALFWorld 和 WebShop 上表现优异，尤其在最难的多步任务上显著提升成功率。