摘要
同策略自蒸馏（OPSD）利用特权教师模型监督学生模型的输出分布，但未直接约束产生该分布的内部计算过程。本文提出特权隐藏流（PHF），不仅蒸馏输出，还对齐教师与学生隐藏状态在生成轨迹上的转移方向与几何结构，而非简单的逐点向量匹配。该方法包含全层相邻层关系计算，且具有轨迹偏移和正交变换不变性。实验表明，在相同训练步数下，PHF 在 Qwen3 多个规模模型上显著优于基线，平均提升约 1.5 至 2.2 分，证实了其作为 OPSD 紧凑扩展的有效性。
AI 推荐理由
论文核心在于通过自蒸馏优化推理模型的内部计算流，直接提升推理能力。
研究机构
香港科技大学
南京航空航天大学
63rd Research Institute, National University of Defense Technology, Nanjing
论文信息