从权重到特征：SAE 引导的激活正则化用于大语言模型持续学习

针对权重空间正则化方法在大语言模型持续学习中表现不佳的问题，本文提出利用预训练稀疏自编码器（SAE）构建单义特征字典，在激活空间进行正则化。该方法推导了新损失函数以平衡稳定性与可塑性，且无需存储过往任务数据，仅保留紧凑的特征掩码。实验表明，该方法在 TRACE 和 MedCL 基准上优于传统权重空间方法及无任务特定架构的其他方法，并证实了任务相关表示在 SAE 特征基下具有线性可分性。