摘要
基于可验证奖励的强化学习(RLVR)虽能提升大语言模型的推理能力,但信号稀疏。在线策略自蒸馏(OPSD)通过教师模型提供密集监督以缓解此问题,但标准OPSD忽略了生成的时间结构,对所有局部发散赋予相同权重。为此,本文提出DASH(发散自适应监督视界),通过将局部蒸馏信号与序列均值的差距映射为自适应传播门控,控制反向多步聚合,从而根据生成过程中局部发散的演变调整令牌级监督权重。在三个数学推理基准上的实验表明,DASH在不同规模模型上均优于基线,且无需额外前向传播开销。
AI 推荐理由
论文旨在通过改进自蒸馏机制提升大模型的数学推理能力,直接针对推理性能优化。
研究机构
中国科学院自动化研究所
Shanda Group
EverMind
Wuhan AI Research
武汉大学
中国科学院大学
论文信息