摘要
多模态大语言模型需通过持续指令微调获取新能力，但现有方法仅依赖图像 - 文本相似性路由，忽视了任务输出结构差异，导致梯度干扰。本文提出 ProtoAda 框架，引入格式感知任务原型，将任务分配与语义及输出结构对齐；并通过几何感知方式巩固格式兼容的更新，有效复用并优化参数。实验表明，该方法在防止答案结构被破坏的任务上表现优异。
AI 推荐理由
论文核心解决多模态持续学习中的灾难性遗忘与任务干扰，属于 Agent 自我进化与自适应范畴。
研究机构
School of Artificial Intelligence, Nanjing University, China
State Laboratory of Novel Software Technology, Nanjing University, China
论文信息