摘要
针对大语言模型领域适配引发的“对齐税”及灾难性遗忘问题,本文提出 MemSFT 方法。该方法通过即插即用的参数化记忆模块,将领域专业化与主干参数更新解耦。该记忆模块模仿非参数检索器行为以存储领域知识,训练后可跨不同规模模型复用。生成阶段,学习到的路由器动态融合记忆与主干的输出分布,选择性调用领域专长。实验表明,MemSFT 在显著提升生物、地学及法律等领域性能的同时,几乎未损害通用能力,而全量微调则导致严重遗忘。
AI 推荐理由
提出参数化记忆架构解耦领域知识与主干,核心解决灾难性遗忘。
研究机构
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University
Shanghai AI Laboratory
论文信息