通过直接在线策略蒸馏实现弱到强泛化

针对强化学习验证奖励（RLVR）在大模型训练中成本高昂的问题，本文提出了一种弱到强的替代方案：先在较小模型上运行 RL，再利用其学习成果提升更强模型。作者提出了直接在线策略蒸馏（Direct-OPD）方法，通过将弱教师模型 RL 前后的策略变化转化为稠密隐式奖励，直接迁移至学生模型的在线状态。该方法无需训练显式奖励模型，即可高效复用 RL 监督信号。实验表明，Direct-OPD 能显著提升强模型的推理性能，如在 AIME 2024 上将 Qwen3-1.7B 的准确率从 48.3% 提升至 62.4%。