在迭代指令微调中利用合成数据学习而不发生模型崩溃

模型崩溃是利用合成数据学习的核心挑战：随着后代大语言模型训练数据中模型生成内容比例增加，性能可能因覆盖范围缩小和偏差累积而下降。现有工作主要关注如何限制这种退化，但在迭代模型进化中，更关键的目标是确保每个后续模型优于前代。本文研究了指令微调中的合成数据自我改进问题，发现崩溃表现为能力极化而非均匀退化。为此，我们提出了 KITE 框架，结合失败引导的数据生成与边界感知的不确定性筛选，实现了比现有基线更稳定的性能提升。