摘要
针对可验证奖励强化学习(RLVR)存在的监督稀疏及令牌级信用分配受限问题,本文提出混合事后自蒸馏(H²SD)框架。该方法依据轨迹正确性动态调整教师信号:对成功轨迹,利用教师模型调制更新幅度而不改变方向;对失败轨迹,基于关键推理步骤提示构建教师策略,通过最小化反向 KL 散度提供明确修正方向。实验表明,H²SD 在多个高难度推理基准上优于现有基线,同时保持优化稳定与生成高效。
AI 推荐理由
论文核心提出混合事后自蒸馏框架,旨在显著提升 LLM 在数学和代码生成中的推理能力。
研究机构
Shanghai Artificial Intelligence Laboratory
Harbin Institute of Technology
Fudan University
论文信息