用于强化学习后训练的跨 epoch 自适应 rollout 优化

大语言模型后训练常依赖强化学习方法，但现有方法对每个提示使用固定的 rollout 预算，忽略了不同提示提供训练信号的差异。本文研究了固定全局预算下的自适应 rollout 分配问题，将其建模为具有提示级边际收益递减的在线资源分配问题。提出的 CERO 方法维护每个提示成功概率的 Beta 后验分布，利用后验期望伯努利方差作为额外 rollout 价值的贝叶斯估计，构建凹形饱和效用函数。实验表明，CERO 在多个开源模型和数学推理基准上均优于 GRPO，证明了自适应预算分配能显著提高样本效率。