路由而不遗忘

针对 Transformer 在在线持续学习（OCL）中面临的灾难性遗忘挑战，本文提出“路由而不遗忘”（RwF）架构。该方法将持续学习重构为路由问题，利用受现代 Hopfield 网络启发的基于能量的联想检索层，在每次前向传播中通过单步检索动态生成提示，无需梯度迭代即可选择适当的表示子空间。实验表明，RwF 在类增量基准测试中显著优于现有基于提示的方法，即使在少样本设定下也表现优异，为 OCL 提供了原则性且高效的记忆基础。