摘要
人工神经网络的关键局限在于缺乏持续学习能力,新任务训练常导致旧记忆干扰与遗忘。现有算法多在训练期间或紧随其后应用以保护旧记忆。相比之下,人类和动物能在主动学习中获取多个新记忆,随后通过巩固将其存入长期存储。本文证明,在应用无监督的类睡眠重放阶段之前,可顺序训练多个新任务,从而部分恢复所有先前任务的性能。研究表明,特定任务信息对新训练具有韧性,但随新任务训练逐渐衰减。这些发现为开发广泛的持续学习 AI 解决方案提供了新原则。
AI 推荐理由
论文核心研究受睡眠启发的重放机制,旨在解决连续学习中的灾难性遗忘问题,直接关联记忆巩固。
研究机构
Khoury College of Computer Sciences, Northeastern University, Boston, MA
Department of Medicine, University of California, San Diego, La Jolla, CA, USA
ARTISAN, Georgia Institute of Technology, Atlanta, GA USA
论文信息