基于物理引导与自蒸馏的策略优化

自蒸馏策略优化（SDPO）已成为大语言模型后训练的主流范式，但其对更新步长的信任度敏感，固定步长易导致训练不稳定。受粘性流体动力学启发，本文提出物理引导策略优化（PGPO），通过学生预测与信息反馈条件下教师预测间的互信息估计，引入信息调制步长乘数。该方法在保持一阶弱近似保证的同时，显著提升了 Science-QA 数据集上的性能与训练稳定性。