Parameter-Efficient Fine-Tuning Catastrophic Forgetting Parametric Memory Domain Adaptation
摘要

针对大语言模型领域适配引发的“对齐税”及灾难性遗忘问题,本文提出 MemSFT 方法。该方法通过即插即用的参数化记忆模块,将领域专业化与主干参数更新解耦。该记忆模块模仿非参数检索器行为以存储领域知识,训练后可跨不同规模模型复用。生成阶段,学习到的路由器动态融合记忆与主干的输出分布,选择性调用领域专长。实验表明,MemSFT 在显著提升生物、地学及法律等领域性能的同时,几乎未损害通用能力,而全量微调则导致严重遗忘。

AI 推荐理由

提出参数化记忆架构解耦领域知识与主干,核心解决灾难性遗忘。

研究机构
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University Shanghai AI Laboratory
论文信息
作者 Jiarui Wang, Xiang Shi, Jiaqi Cao, Rubin Wei, Xiquan Wang et al.
发布日期 2026-07-28
arXiv ID 2607.25614
相关性评分 9/10 (高度相关)