JumpLoRA：用于大语言模型持续学习的稀疏适配器

基于适配器的方法已成为大语言模型持续学习的低成本方案，通过为每个任务顺序学习低秩更新矩阵。为缓解灾难性遗忘，现有最先进方法通过对新适配器施加子空间或坐标级干扰约束来限制其变化。本文提出 JumpLoRA，一种利用 JumpReLU 门控在低秩适应模块中自适应诱导稀疏性的新框架。该方法实现了动态参数隔离，有效防止任务间干扰。实验表明，该方法具有高度模块化且兼容现有 LoRA 持续学习方法，显著提升了 IncLoRA 性能，并优于当前领先的 ELLA 方法。