通过二阶展开实现更高效的强化学习训练数据利用

强化学习虽赋予了大语言模型强大的推理能力，但传统方法仅关注一阶展开（生成多个回答），忽视了批判能力的训练，导致数据潜力未充分挖掘。本文提出二阶展开概念（为回答生成多个批判），并构建统一框架联合训练生成与批判能力。实验表明，该方法在同等数据下优于传统 RL，有效提升了推理性能。此外，研究还揭示了批判训练中标签平衡的重要性及基于结果奖励的噪声问题，为动态数据增强和联合训练提供了新见解。