更密集≠更好：持续后训练中策略内自蒸馏的局限性

持续后训练旨在使基础模型获取新知识同时保留现有能力。近期研究认为策略内学习可缓解遗忘，其中自蒸馏颇具吸引力。本文通过自蒸馏策略优化（SDPO）重新审视该观点。实验表明，当教师信号稳定时，SDPO 能加速领域专用化，但在分布外场景泛化能力差，且在持续训练中表现出更强的遗忘甚至模型崩溃。相比之下，GRPO 等策略内强化学习方法适应更保守，更能保留 prior 能力。分析显示，密集的自蒸馏会导致参数和响应空间更大漂移，并通过自增强循环放大格式伪影。结论指出，仅靠策略内数据不足以支持持续学习。