在高效 LLM 推理的在线策略自蒸馏中尊重自我不确定性

在线策略自蒸馏利用教师模型提供的密集 token 级监督训练推理模型。现有目标通常均匀加权思维链序列中的信号，忽略了预测分布熵的显著变化。本文提出熵引导强化自蒸馏（EGRSD），通过奖励导向方向、师生似然比幅度及提出的教师熵置信门控统一 token 级更新，后者在降低高熵位置权重的同时保持非零下界。此外，引入因果前瞻变体 CL-EGRSD 以区分持续高熵跨度与瞬态高熵位置。实验表明，该方法在准确率与长度权衡上优于现有可训练方法。