用于推理泛化的几何自蒸馏

本文针对大语言模型策略内自蒸馏中因特权上下文导致的分布外（OOD）推理能力退化问题，提出几何自蒸馏（GeoSD）目标。该方法将预测漂移视为行为空间运动，通过 Hellinger 损失按学生模型重叠度缩放教师偏好，并利用 Fisher-Rao 距离的邻近项限制预测漂移。实验表明，GeoSD 在保持分布内增益的同时，显著提升了多规模模型在数学推理基准上的 OOD 准确率，避免了标准匹配在高熵状态下错误收敛的问题。