摘要
在线策略蒸馏是将强教师模型的推理能力迁移至小型学生模型的有效方法，但教师提供的监督信号并不总是可靠，可能强化错误模式或抹除有益行为。为此，本文提出奖励门控在线策略蒸馏（RG-OPD），利用验证器反馈决定何时信任教师 logits。该方法桥接了稀疏的验证器奖励与密集的教师 logits，在保留 token 级监督的同时过滤误导性信号。实验表明，RG-OPD 在推理和编码基准上显著优于传统反向 KL 蒸馏及 TSD-KD 基线。
AI 推荐理由
论文核心在于通过奖励门控机制提升蒸馏模型的推理能力，解决教师信号误导问题。
研究机构
University of Cologne
AWS AI
UT Austin
MIT
Carnegie Mellon University
ETH Zurich
论文信息