通过近端解耦实现任务切换而不遗忘

在持续学习中，主要挑战是在学习新信息时不遗忘旧知识。现有方法通常通过正则化惩罚关键参数变化，但这将学习与保留信号混合，限制了模型能力。本文提出一种基于算子分裂的新方法，将任务学习与稳定性强制分离：学习步骤最小化当前任务损失，而近端稳定性步骤应用稀疏正则化剪枝冗余参数并保留任务相关参数。该方法将稳定性与可塑性转化为两个互补算子间的协商更新。理论分析与实验表明，该方法在标准基准上达到最先进水平，无需回放缓冲或元学习组件即可提升稳定性和适应性。