灾难性遗忘是低秩的：一种用于持续适应的函数空间理论

本文针对持续适应中的灾难性遗忘问题，提出了一种基于神经正交核（NTK）机制的函数空间理论。研究指出，新任务训练通过跨任务核导致旧任务预测漂移，并推导出在梯度更新前即可预测遗忘向量的闭式解。该理论揭示了遗忘集中于少量旧任务 NTK 特征模式，并提出了针对性的谱正则化方法，解释了为何参数空间正则化可能失效，为模型的持续学习与自适应改进提供了理论依据。