摘要
针对在策略自蒸馏（OPSD）中，教师模型基于特权信息的密集监督导致学生模型过拟合、抑制探索及产生特权信息泄露的问题，本文提出 DemoPSD 框架。该方法通过选择性采纳教师指导，利用分布差异自适应控制教师与学生分布的加权几何组合，构建反向 KL 重心目标。理论证明该方法能有效缓解信息泄露并保留探索能力。在 SciKnowEval 和 GPQA 基准上的实验表明，DemoPSD 在保持高训练熵的同时，显著优于现有方法并具有更强的跨域泛化性。
AI 推荐理由
论文核心解决 LLM 推理训练中的特权信息泄露问题，提出新蒸馏框架提升推理泛化能力。
研究机构
1 City University of Hong Kong
2 Tsinghua University
3 Shenzhen University of Advanced Technology
4 Chinese University of Hong Kong, Shenzhen
论文信息