内化温度：作为强化学习策略再加热器的在线自蒸馏

基于可验证奖励的强化学习能提升大语言模型的推理能力，但常受困于熵坍塌，导致策略集中、 rollout 多样性降低及有效学习信号减少。现有方法多通过外部约束或调整采样温度来缓解，未触及模型参数内部。本文提出温度缩放在线自蒸馏（TS-OPSD），一种轻量级策略再加热方法，将温度的探索效应内化至模型参数中。该方法利用高温缩放构建自教师，将其平滑分布蒸馏回学生模型，无需外部教师或额外推理成本。实验表明，TS-OPSD 能为后续 RL 提供更强的初始化，主要降低输出锐度同时保留推理能力，是扩展面向推理的 RL 的有效干预手段。