知识蒸馏 数学推理 轨迹优化 大模型训练
摘要

同策略蒸馏(OPD)虽基于学生自身轨迹进行监督,但易受“前缀失败”影响:一旦学生偏离正确推理方向,后续生成将基于错误前提,导致监督失效且浪费算力。本文发现师生在失败前缀上的延续不对称性,并提出中继同策略蒸馏(Relay-OPD)。该方法在检测到触发点时让教师短暂接管生成“教师段”,随后由学生接续并优化。实验表明,Relay-OPD 在八个数学推理基准上表现最优或次优,显著优于标准 OPD 及强基线 FastOPD,同时训练轨迹长度减少超 50%。

AI 推荐理由

论文针对数学推理中的前缀错误问题,提出新蒸馏方法显著提升推理能力。

研究机构
浙江大学 阿里巴巴集团
论文信息
作者 Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li et al.
发布日期 2026-07-28
arXiv ID 2607.26057
相关性评分 9/10 (高度相关)