Offline RL Knowledge Distillation Agent Evolution Cost Efficiency
摘要

大规模在线强化学习虽能激发大模型的推理与工具使用能力,但扩展成本高且难以持续。现有知识蒸馏技术虽解耦了训练阶段,仍受限于推理与反向传播的耦合。本文提出 REGEN 方法,通过复用专家模型训练产生的回放记忆,结合离线强化学习算法训练通才模型,完全解耦采样与训练过程。实验表明,该方法在数学推理、代码生成等任务中以更低成本达到同等精度,将在线 RL 转化为数据合成过程,支持大规模后训练。

AI 推荐理由

提出基于离线 RL 的专家到通才蒸馏方法,实现模型自我进化与能力泛化,核心聚焦持续学习与自适应。

研究机构
vivo AI Lab, Shenzhen, China Department of Computer Science, Sun Yat-Sen University, Guangzhou, China
论文信息
作者 Yunjie Chen, Xiaoxin Chen, Fang Wang
发布日期 2026-07-21
arXiv ID 2607.19450
相关性评分 9/10 (高度相关)