摘要
针对神经网络序列任务学习中的灾难性遗忘问题,本文提出一种原生硅基模块化架构,利用任务特定专家与分布式异常门控实现结构参数隔离。框架采用并行流水线,同步进行教师学习、学生蒸馏与路由流形获取,并在任务完成后立即删除原始数据以符合隐私规范。通过紧瓶颈自编码器区分高维潜在空间中的语义拥挤流形,解决后验坍塌问题,并提供鲁棒的无监督新颖性信号。此外,自主检索机制能识别回归流形,无需冗余模块实例化即可实现稳定的终身学习。
AI 推荐理由
论文提出模块化持续学习架构,解决灾难性遗忘,实现自主任务发现与终身学习,属自我进化核心研究。
研究机构
Western Digital Corporation, Irvine, CA, USA
论文信息