通过能力选择性子空间投影实现的自策略蒸馏

自蒸馏通过训练模型自身生成的数据来引导大语言模型发展。然而，现有方法要么依赖昂贵的外部信号筛选输出，要么直接使用未筛选数据导致泛化性差且混杂无关特征。本文提出自策略蒸馏（SPD），无需外部信号即可实现可泛化的能力选择性提升。SPD 从正确性定义标记的梯度中提取低秩能力子空间，将键值激活投影至该子空间进行自生成，并基于标准下一词预测损失进行微调。实验表明，SPD 在代码生成、数学推理等任务上显著优于现有自蒸馏方法及预训练基线，展现出卓越的域外泛化能力。