后训练中遗忘现象的定量表征

本文针对生成模型持续后训练中的遗忘问题，基于双模式混合抽象提出理论结果，将遗忘形式化为“质量遗忘”与“旧分量漂移”。研究证明前向 KL 目标导致旧权重坍塌，而反向 KL 可避免此现象并仅产生受重叠控制的指数级衰减漂移。此外，量化了回放机制在不同目标下的作用，并分析了三种近期近策略后训练方法保留旧记忆的条件，揭示了遗忘由散度方向、几何重叠及采样机制共同决定。