摘要
本文研究了将大型推理模型（DeepSeek-R1）的知识蒸馏至紧凑学生模型（Qwen2.5-7B）的方法。利用北肯塔基大学数学竞赛历史数据，构建思维链训练语料，并通过 LoRA 微调学生模型。实验表明，蒸馏后模型在竞赛数据集上准确率提升 4.76%，且在 MATH-500 基准上表现优异。研究进一步揭示了响应长度对数学推理质量的显著影响，证明思维链蒸馏能有效增强紧凑模型的推理能力。
AI 推荐理由
论文核心研究数学推理能力的蒸馏，通过 CoT 提升小模型推理质量。
研究机构
Northern Kentucky University, Highland Heights, KY 41099, USA
论文信息