Brainstacks：基于冻结 MoE-LoRA 堆栈的跨领域认知能力以实现 LLM 持续学习

本文提出 Brainstacks，一种用于大语言模型持续多领域微调的模块化架构。该方法将领域专业知识封装为冻结的适配器堆栈，在推理时叠加于共享基座之上。其核心组件包括：采用噪声 Top-2 路由的 MoE-LoRA、通过冻结旧堆栈并添加新堆栈实现的残差增强、基于课程依赖的顺序训练、利用零空间投影实现的零遗忘机制，以及基于结果的元路由器。实验表明，该系统不仅收敛更快，还能发现可迁移的认知原语，实现了跨领域的知识组合与持续进化。