摘要
大型语言模型在顺序学习任务中常面临灾难性遗忘问题。现有 LoRA 方法需任务标识或 indiscriminately 求和适配器,而基于门控的方法引入了易遗忘的可训练参数。本文提出 Latent-LoRA,利用冻结嵌入层的池化 token 嵌入拟合高斯混合模型,实现无需梯度训练的无任务感知适配器选择。同时,通过 SVD 将参数约束在主子空间并施加正交正则化以减少干扰。该系统无需回放、无可训练路由组件,且在多个基准测试中实现了近乎零遗忘的最先进性能。
AI 推荐理由
论文核心解决持续学习中的灾难性遗忘,提出无梯度路由机制实现模型自我适应与进化。
研究机构
College of Health Solutions, Arizona State University, Phoenix, Arizona, USA
Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, Texas, USA
School of Computing and Augmented Intelligence, Arizona State University, Tempe, Arizona, USA
The GAME School, Arizona State University, Tempe, Arizona, USA
论文信息