Reinforcement Learning Self-Distillation Mathematical Reasoning LLM Optimization
摘要

针对可验证奖励强化学习(RLVR)存在的监督稀疏及令牌级信用分配受限问题,本文提出混合事后自蒸馏(H²SD)框架。该方法依据轨迹正确性动态调整教师信号:对成功轨迹,利用教师模型调制更新幅度而不改变方向;对失败轨迹,基于关键推理步骤提示构建教师策略,通过最小化反向 KL 散度提供明确修正方向。实验表明,H²SD 在多个高难度推理基准上优于现有基线,同时保持优化稳定与生成高效。

AI 推荐理由

论文核心提出混合事后自蒸馏框架,旨在显著提升 LLM 在数学和代码生成中的推理能力。

研究机构
Shanghai Artificial Intelligence Laboratory Harbin Institute of Technology Fudan University
论文信息
作者 Qiye Cai, Yichuan Ma, Linyang Li, Peiji Li, Yongkang Chen et al.
发布日期 2026-07-21
arXiv ID 2607.18955
相关性评分 9/10 (高度相关)