摘要
大语言模型通常通过更新参数进行下游任务训练，但这易导致灾难性遗忘和可塑性丧失。相比之下，上下文学习虽能快速适应但性能受限。本文提出一种“快 - 慢”学习框架，将模型参数作为“慢”权重，优化后的上下文作为“快”权重。该方法利用文本反馈吸收特定任务信息，同时保持基础模型的通用推理能力。实验表明，该框架在推理任务上样本效率提升三倍，显著减少灾难性遗忘，并在持续学习场景中展现出优于纯参数更新方法的适应性与可塑性。
AI 推荐理由
提出快慢学习框架，实现持续学习与自适应，解决灾难性遗忘，核心聚焦自我进化。
研究机构
UC Berkeley
UT Austin
Eragon
Periodic Labs
论文信息