摘要
低秩适应（LoRA）是持续学习的有效范式，但其复合更新常违反正交性导致灾难性遗忘，而强制正交又损害可塑性。为此，本文提出 Janus-LoRA 框架以恢复平衡。首先引入梯度校正，通过在线估计历史知识子空间，解耦因子更新并强制参数级正交；其次提出解耦边界损失，推动新特征表示远离旧特征，增强特征级分离以提升可塑性。实验表明，该方法在多个基准上实现了稳定性与可塑性的优越平衡，确立了新的最先进水平。
AI 推荐理由
论文核心解决持续学习中的灾难性遗忘问题，直接对应 Agent 自我进化与自适应能力。
研究机构
School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China
School of Computer Science and Technology, Tongji University, Shanghai, China
Independent Researcher, Shanghai Innovation Institute, Shanghai, China
Correspondence to: Jingkuan Song
论文信息