摘要
针对联邦多模态大模型在动态环境中面临的灾难性遗忘问题,本文提出 FedCMM 框架。该方法在参数层引入模态感知弹性权重巩固,保护特定模态知识;在数据层利用本地生成回放模块合成嵌入级多模态元组,避免原始数据共享;在聚合层通过任务相似度感知梯度聚合过滤冲突更新。实验表明,该框架显著提升了模型在异构网络部署中的准确性与 backward transfer 能力,实现了鲁棒的演化适应。
AI 推荐理由
论文核心解决持续学习中的灾难性遗忘,实现模型在动态数据流下的自我进化与自适应。
研究机构
中国科学院自动化研究所
论文信息