CP-MoE：面向持续学习的保持一致性的混合专家模型

灾难性遗忘仍是大型语言模型和视觉 - 语言模型持续学习的主要障碍。现有基于 LoRA 的混合专家（MoE）方法在隔离专家以保护知识与允许知识迁移之间存在权衡困境。为此，本文提出 CP-MoE 框架，引入瞬态专家捕捉早期任务更新并引导其整合至稳定专家。通过一致性保持的路由偏差和瞬态专家引导的正则化机制，该方法在减少参数干扰和遗忘的同时，保留了跨任务的知识迁移能力。实验表明，其在多模态及单模态基准上均实现了最先进的性能。