关于 Token 的困境：用于大型视觉语言模型持续学习的具有漂移感知 Token 分配的动态 MoE

多模态持续指令微调旨在通过新数据学习增强大型视觉语言模型而不遗忘旧知识。混合专家（MoE）架构虽支持增量扩展，但仍因路由漂移导致遗忘。本文分析发现，新任务中模糊及旧 Token 被错误路由至新专家是主因。为此，提出 LLaVA-DyMoE 框架，通过漂移感知的 Token 分配机制，利用正则化引导模糊和旧 Token 远离新专家，保持既有路由模式并促进新专家专业化。实验表明，该方法显著减轻遗忘，平均最终准确率提升超 7%，遗忘率降低 12%。