不忘的艺术

本文介绍认知记忆原语（CMP）架构，将输入表示为稀疏关系代码，存储于双层竞争记忆中，仅通过局部无梯度更新学习。研究假设灾难性遗忘是反向传播的结构性后果，而局部稀疏学习规则可天然抵抗。在 15 个文本领域的增量实验中，CMP 的向后转移效果比同等规模 Transformer 高出 15-19 倍。尽管原始准确率存在差距且视觉基准测试未果，但证实了局部非反向传播学习在抵抗遗忘方面优于传统方法。