AVSD：通过平衡共识与教师特定特权信号的自适应视图自蒸馏

自蒸馏使语言模型能利用自身轨迹进行在线学习，其中教师模型拥有学生模型推理时不可见的特权信息。然而，这导致了信息不对称且最佳信息类型依赖任务。本文提出自适应视图自蒸馏（AVSD），通过分离跨视图的稳定共识与特定视图的残差信号来重构令牌级监督。AVSD 识别共享共识以提供可靠更新方向，并仅在残差信号与共识对齐且比例适当时选择性添加。在数学竞赛及代码生成基准测试中，AVSD 显著优于单视图自蒸馏基线及 GRPO 方法。