Self-Distillation Reinforcement Learning Mathematical Reasoning Token-level Supervision
摘要

基于可验证奖励的强化学习(RLVR)虽能提升大语言模型的推理能力,但信号稀疏。在线策略自蒸馏(OPSD)通过教师模型提供密集监督以缓解此问题,但标准OPSD忽略了生成的时间结构,对所有局部发散赋予相同权重。为此,本文提出DASH(发散自适应监督视界),通过将局部蒸馏信号与序列均值的差距映射为自适应传播门控,控制反向多步聚合,从而根据生成过程中局部发散的演变调整令牌级监督权重。在三个数学推理基准上的实验表明,DASH在不同规模模型上均优于基线,且无需额外前向传播开销。

AI 推荐理由

论文旨在通过改进自蒸馏机制提升大模型的数学推理能力,直接针对推理性能优化。

研究机构
中国科学院自动化研究所 Shanda Group EverMind Wuhan AI Research 武汉大学 中国科学院大学
论文信息
作者 ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang et al.
发布日期 2026-08-06
arXiv ID 2608.06243
相关性评分 9/10 (高度相关)