摘要
多模态大语言模型通过指令微调实现任务统一，但实际部署需持续适应新任务，即多模态持续指令微调（MCIT）。现有研究受限于工程瓶颈，常直接修改基座代码导致复用性差。为此，本文提出 Prism，一个专为可扩展 MCIT 设计的可插拔代码库。它通过轻量级插件注册机制将算法开发与基座实现分离，无需修改底层代码即可集成新策略，消除了架构碎片化并加速方法开发。Prism 原生支持大规模训练流程，实现了可复现且可扩展的 MCIT 实验。
AI 推荐理由
论文聚焦多模态持续指令微调，核心解决模型适应新任务的持续学习与自我进化问题。
研究机构
School of Artificial Intelligence, Nanjing University, China
National Key Laboratory for Novel Software Technology, Nanjing University, China
论文信息