面向智能体强化学习的单次 rollout 异步优化

针对现有大语言模型异步强化学习系统在长程智能体任务中稳定性不足及离策略问题，本文提出单次 rollout 异步优化（SAO）方法。该方法以单次 rollout 采样替代组采样，结合价值模型设计与严格的令牌级裁剪策略，有效提升了训练稳定性与泛化能力。实验表明，SAO 在代码生成与推理基准上优于 GRPO 及其变体，并在模拟在线学习场景中展现出卓越的自适应进化能力，已成功应用于超大规模模型的训练流程。