大语言模型中的持续学习：方法、挑战与机遇

Continual Learning Catastrophic Forgetting LLM Adaptation Lifelong Learning Survey

摘要

本文综述了 enabling 大语言模型（LLM）动态适应 evolving 知识与序列任务的持续学习范式，旨在缓解灾难性遗忘。文章围绕持续预训练、微调及对齐全三个阶段，系统梳理了基于重放、正则化及架构的方法，并深入分析了其遗忘抑制机制。研究对比了传统方法与 LLM 特性的差异，涵盖评估指标与新基准，指出当前在跨任务知识整合方面的挑战，为 LLM 的终身学习提供了结构化框架与未来方向。

AI 推荐理由

论文核心探讨 LLM 的持续学习与动态适应，直接对应自我进化中的自适应与持续学习机制。

研究机构

中国科学院自动化研究所

论文信息

作者 Hongyang Chen, Zhongwu Sun, Hongfei Ye, Kunchi Li, Xuemin Lin

发布日期 2026-03-13

arXiv ID 2603.12658