摘要
持续学习是现代深度网络的主要挑战，部分原因在于常用优化器缺乏内在的持续适应机制。受神经科学中快慢适应机制启发，本文在变分持续学习（VCL）框架下，通过将过去后验分布合并以减缓知识漂移，实现慢速适应，并将其作为先验进行快速权重更新。由此提出的 Continual IVON (CoVON) 优化器，在计算成本与 Adam 相当的情况下，显著优于现有 VCL 优化器及权重正则化策略，有效提升了大语言模型在领域增量学习、持续预训练及微调中的表现。
AI 推荐理由
论文提出持续学习优化器，核心解决模型自我适应与持续进化问题，直接对应自我进化主题。
研究机构
Faculty of Mathematics and Computer Science, University of Bremen, Bremen, Germany
Department of Computer Science & AI, Jeonbuk National University, Republic of Korea
Department of Computer Science, TU Darmstadt, Darmstadt, Germany
RIKEN Center for Advanced Intelligence Project, Tokyo, Japan
Hessian Center for AI (hessia.AI), Darmstadt, Germany
University College London, United Kingdom
论文信息