摘要
持续学习使视觉 - 语言模型无需从头重训练即可积累知识并适应 evolving 任务。然而,在多领域任务增量学习中,巨大的领域偏移加剧了稳定性与可塑性的困境。现有方法多依赖固定架构和静态参数分配,限制了对新领域的适应并加重灾难性遗忘。为此,本文提出 DIMoE-Adapters,一种动态增量混合专家适配器框架,引入动态专家进化范式以平衡稳定性与可塑性。该范式通过自校准专家进化(SCEE)和原型引导专家选择(PGES)两个协作组件实现,显著提升了模型在各类设置下的性能。
AI 推荐理由
论文提出动态专家进化范式,核心解决持续学习中的自我适应与进化问题。
研究机构
School of Electronic Engineering, Xidian University Xi'an 710071, China
论文信息