摘要
针对持续学习中灾难性遗忘缺乏统一解释的问题，本文提出“上下文信道容量”概念，证明零遗忘需满足特定互信息阈值。研究建立了“不可能三角”，指出基于状态的顺序学习者无法同时满足零遗忘、在线学习与有限参数，而超网络架构通过重构参数定义可突破此限制。实验验证该指标能完美预测遗忘行为，并提出错误上下文探测诊断协议及梯度上下文编码器，确立了“架构优于算法”的设计原则。
AI 推荐理由
论文核心研究持续学习中的灾难性遗忘问题，提出基于信息论的记忆架构分析框架。
论文信息