用于鲁棒推理蒸馏的不变梯度对齐

大型语言模型存在捷径学习问题，导致在语义表面不同但逻辑结构相同的分布外输入上表现失败，阻碍了思维链推理的知识蒸馏。本文提出不变梯度对齐（IGA）训练框架，通过三项创新实现对数异构示例的梯度更新对齐：构建跨域逻辑同构集、设计可微连续梯度冲突掩码以抑制高方差参数维度、以及将掩码梯度截断 SVD 投影回 LoRA 低秩流形。理论与实验表明，IGA 显著优于基线方法，大幅提升了推理的表示不变性与泛化边界。