Lightning OPD：基于离线同策略蒸馏的大型推理模型高效后训练

同策略蒸馏（OPD）是大语言模型高效后训练的新范式，但标准方法需实时教师服务器，基础设施开销巨大。本文探究离线 OPD 可行性，发现“教师一致性”是关键条件，违反该条件会导致梯度偏差及次优收敛。据此提出 Lightning OPD 框架，通过在 SFT rollout 上预计算教师概率并强制教师一致性，完全消除对实时服务器的需求。理论证明其与标准 OPD 具有相同最优解且能防止策略漂移。数学推理与代码生成实验表明，该方法在大幅降低成本的同时达到了最先进水平。