摘要
现有大模型智能体强化学习算法在多轮交互中缺乏收敛保证，导致训练不稳定。本文系统分析了策略更新与优势估计组合对收敛性的影响，发现主流算法难以兼顾无评论家与收敛保证。为此，提出 SeeUPO 方法，将多轮交互建模为顺序执行的多智能体老虎机问题，通过逆序逐轮策略更新，利用逆向归纳法确保单调改进并收敛至全局最优。实验显示其在多个基准上显著优于现有算法。
AI 推荐理由
提出具收敛保证的 RL 新算法，核心解决 Agent 训练不稳定与策略优化问题。
研究机构
通义实验室，阿里巴巴集团
论文信息