摘要
大规模在线强化学习虽能激发大模型的推理与工具使用能力,但扩展成本高且难以持续。现有知识蒸馏技术虽解耦了训练阶段,仍受限于推理与反向传播的耦合。本文提出 REGEN 方法,通过复用专家模型训练产生的回放记忆,结合离线强化学习算法训练通才模型,完全解耦采样与训练过程。实验表明,该方法在数学推理、代码生成等任务中以更低成本达到同等精度,将在线 RL 转化为数据合成过程,支持大规模后训练。
AI 推荐理由
提出基于离线 RL 的专家到通才蒸馏方法,实现模型自我进化与能力泛化,核心聚焦持续学习与自适应。
研究机构
vivo AI Lab, Shenzhen, China
Department of Computer Science, Sun Yat-Sen University, Guangzhou, China
论文信息