摘要
大语言模型训练日益依赖教师生成的监督数据，现有实践常默认性能最强的教师能产生最佳训练数据。本文指出该假设存在缺陷：即使多位教师均给出正确答案，最强教师的答案未必最适合特定学生。为此，我们提出“以学生为中心的答案采样”（SCAS）框架，依据估计的学生学习成本从验证过的教师答案中进行选择。基于令牌级梯度分解，我们推导了一种高效的前向代理指标来指导训练过程中的答案选择。实验表明，SCAS 在多种模型和任务上均能显著提升学生性能，证明有效的知识蒸馏应优先匹配学生当前状态而非仅关注教师强度。
AI 推荐理由
论文提出以学生为中心的蒸馏框架，通过优化监督数据选择实现模型自我改进与自适应学习。
研究机构
University of Washington
Independent Researcher
National University of Singapore
Microsoft
Google
Mohamed bin Zayed University of Artificial Intelligence
Allen Institute for AI (AI2)
Northwestern University
论文信息