摘要
同策略蒸馏(OPD)虽基于学生自身轨迹进行监督,但易受“前缀失败”影响:一旦学生偏离正确推理方向,后续生成将基于错误前提,导致监督失效且浪费算力。本文发现师生在失败前缀上的延续不对称性,并提出中继同策略蒸馏(Relay-OPD)。该方法在检测到触发点时让教师短暂接管生成“教师段”,随后由学生接续并优化。实验表明,Relay-OPD 在八个数学推理基准上表现最优或次优,显著优于标准 OPD 及强基线 FastOPD,同时训练轨迹长度减少超 50%。
AI 推荐理由
论文针对数学推理中的前缀错误问题,提出新蒸馏方法显著提升推理能力。
研究机构
浙江大学
阿里巴巴集团
论文信息