摘要
同策略蒸馏(OPD)依赖教师一致性,但在跨教师场景中常因风格差异失效。本文提出 Lightning OPD 2.0,利用交叉拟合风格残差化技术,估计并剔除由措辞、格式及推理节奏差异引起的风格令牌偏差。该方法在数学推理和代码生成基准上显著优于前代版本,使 SFT 数据生成器与蒸馏教师可独立选择,大幅提升了大型推理模型的训练效果与实用性。
AI 推荐理由
论文核心针对大型推理模型,通过改进蒸馏算法显著提升数学与代码推理能力。
研究机构
NVIDIA
论文信息