摘要
强化学习已成为大语言模型后训练的核心范式。现有的无评论者强化学习方法通常为同一问题生成一组 rollout 以估计价值基线，但存在数据效率低、组同步障碍及结构化 rollout 灵活性差等问题。本文重新审视“组”的作用，指出其核心功能不仅是估计基线，更是防止对负样本的错误惩罚。基于此，我们提出负 token 过滤策略，实现了稳定的单 rollout 训练。该方法在两种批量优势算法中应用，于推理任务上达到与基于组的方法相当的性能，并在代理任务上表现更优。
AI 推荐理由
论文提出新 RL 方法显著提升推理任务表现，核心解决推理训练中的数据效率问题。
研究机构
Université de Montréal
McGill University
Mila - Quebec AI Institute
University of Waterloo
Huawei Noah's Ark Lab
The Chinese University of Hong Kong
论文信息