摘要
本文揭示了数学推理蒸馏中的“质量 - 效用悖论”：尽管强模型生成的轨迹在奖励模型评分中质量更高，但其表现却不如小模型自身生成并经拒绝采样的数据。分析表明，强模型的修正导致了分布漂移，增加了小模型的适应成本。为此，作者提出“风格对齐修正”方法，在保留逻辑修正的同时维持小模型的原生推理轨迹，从而降低适应成本并恢复下游效用。研究建议蒸馏过程应联合优化解的质量与 learner-data 兼容性。
AI 推荐理由
论文核心研究小模型数学推理中的知识蒸馏悖论及改进机制，直接针对推理能力优化。
研究机构
Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China
Microsoft Research Asia, Microsoft, Beijing, China
论文信息