论在线策略蒸馏的几何特性

在线策略蒸馏（OPD）日益被用于提升大语言模型的推理能力，但其训练动态尚不明确。本文刻画了 OPD 在参数空间中的更新轨迹，并将其与监督微调（SFT）及可验证奖励的强化学习（RLVR）进行比较。参数空间诊断显示，OPD 处于一种松弛的非主成分机制：相比 SFT，其更新影响更少的权重且更强烈地避开主成分方向；相比 RLVR，其约束则较为宽松。此外，OPD 表现出子空间锁定现象，其累积更新迅速进入狭窄的低维通道。早期将训练限制在该更新子空间内可保持 OPD 性能，却会显著降低 SFT 表现，表明该锁定子空间对 OPD 功能上已足够充分。控制实验进一步表明，稀疏化更新 token 或将 rollout 生成转为离线策略均能保留秩动态，而混合 OPD 目标与 RLVR 则会改变这一动态。结果表明，OPD 并非仅是 SFT 与 RLVR 之间的中间点，而是在参数空间中诱导出了独特的更新几何结构。