SAME：用于多模态持续指令调优的稳定化混合专家模型

多模态大语言模型需通过持续指令调优扩展能力，但现有稀疏专家路由方法面临数据分布演化导致的漂移问题。具体表现为路由漂移（专家选择不一致）和专家漂移（共享专家被覆盖）。为此，本文提出稳定化混合专家模型（SAME）。该方法通过将路由动态分解为正交子空间来稳定专家选择，并利用曲率感知缩放调节专家更新以缓解遗忘，无需重放历史数据。此外，引入自适应专家激活机制冻结选定专家，减少冗余计算与任务间干扰，实验证明其达到了最先进水平。