基于偏好的自蒸馏：通过奖励正则化超越 KL 匹配

针对现有自蒸馏方法依赖固定教师模型导致训练不稳定及推理性能下降的问题，本文提出基于偏好的自蒸馏（PBSD）。该方法摒弃直接的 KL 散度匹配，转而采用奖励正则化视角，通过优化师生样本间的偏好差距，推导出优于原始教师的策略分布。理论分析确立了该场景下自蒸馏优于外部教师学习的条件。在数学推理与工具使用基准上的实验表明，PBSD 在保持令牌效率的同时，显著提升了训练稳定性并取得了最佳平均性能。