摘要
自蒸馏是语言模型自我改进的有效方法，但在思维模型中引入特权信息（如数学题解）进行蒸馏时，反而导致长推理轨迹性能显著下降。研究发现，特权上下文会抑制高熵分叉点的探索，减少验证、回溯等关键推理行为，从而削弱强思维模型的自我修正能力。这表明针对强思维模型的自蒸馏需精细关注令牌级信号，尤其是在纠正和推理步骤上。
AI 推荐理由
论文核心研究思维模型的自我蒸馏与自我改进机制，揭示特权上下文对进化的负面影响。
研究机构
Princeton Language and Intelligence, Princeton University
论文信息