面向持续学习的表示微调

世界本质是动态的，持续学习旨在使模型适应不断演变的数据流。尽管预训练模型表现强大，但仍需微调以适应下游任务。然而，现有参数高效微调方法缺乏对表示漂移的显式控制，导致领域敏感和灾难性遗忘。本文提出持续表示学习（CoRe）框架，首次将微调范式从权重空间转向表示空间。CoRe 在隐藏表示的低秩线性子空间内执行特定任务干预，通过显式目标确保旧任务稳定性并保持新任务可塑性。实验表明，该方法在保持参数高效的同时，显著优于现有最先进方法。