离线推理训练的权重空间几何结构

本文研究了多种离线强化学习损失函数（如 RFT、DPO 等）在将大模型推理能力蒸馏至小模型时的机制差异。通过在相同数学数据上训练六种方法，利用余弦相似度、主成分分析及线性模式连通性等工具分析权重更新方向。研究发现：SFT、RFT 和 RIFT 的权重更新高度共线且性能相当；DFT 方向偏离较大；Offline GRPO 引入了正交分量但仍处于同一损失盆地；而 DPO 位于近乎正交的子空间，存在模式连通性障碍，但在 GSM8K 和 AIME26 基准上取得了显著更高的推理准确率。