面向多模态持续指令微调的动态跨模态提示生成

多模态大语言模型虽在指令微调中表现优异，但现实部署常需跨序列任务持续扩展能力。针对多模态持续指令微调中的灾难性遗忘问题，现有方法多基于模块组合范式，缺乏实例级适应。本文提出 DRAPE 框架，通过文本指令与视觉特征的交叉注意力机制，动态合成特定于实例的软提示。该方法利用零空间梯度投影缓解遗忘，并采用基于原型的无标签路由机制，在多个基准测试中实现了最先进的性能。