摘要
在线策略自蒸馏(OPSD)通过将特权上下文内化为模型参数来提升大语言模型的推理能力。现有研究分别关注选择学习哪些token或控制教师接收的特权信息量,但二者相互耦合且受限于学生的学习能力。本文提出统一优化框架,在学生学习难度预算下最大化师生差异。据此提出的USD算法通过单一对偶变量同时调节token选择阈值和特权信息调整方向,使监督动态匹配学生不断演进的学习能力。实验表明,USD在多种模型规模和推理基准上均优于基线方法。
AI 推荐理由
论文旨在通过统一框架优化自蒸馏过程,直接提升LLM的推理能力,属于核心研究。
研究机构
Tencent, Workbuddy Team
Zhejiang University
Independent Researcher
论文信息