摘要
同策略蒸馏（OPD）通过在模型自身生成的输出上训练学生模型来提升大语言模型的推理能力，但传统方法平等对待所有生成结果，忽略了其信息量差异。研究发现，仅利用错误生成轨迹进行训练的效果优于仅使用正确轨迹，因为错误轨迹能更好地保留接近模型能力边界的探索性推理。为此，本文提出 ReNIO 方法，利用学生与教师的概率比识别导致错误推理的关键令牌，并在无需知晓最终答案正确性的情况下，自动为潜在的负向轨迹分配更高权重。实验表明，ReNIO 在数学推理和代码生成任务中显著提升了 OPD 及自蒸馏性能。
AI 推荐理由
论文核心提出 ReNIO 方法，通过重加权负向轨迹显著提升 LLM 在数学和代码任务中的推理能力。
研究机构
East China Normal University
Shanghai Innovation Institute
论文信息