用于无回放持续多模态大语言模型的注意力谱正则化

多模态大语言模型需适应非平稳数据流，但持续微调常导致严重遗忘。现有方法多依赖回放或参数隔离，缺乏对内部跨模态注意力模式漂移的控制。本文提出注意力谱正则化（ASR），一种无回放持续学习框架。该方法将跨注意力图视为二维信号，提取其频谱统计特征作为技能原型存储，并通过相位不变谱正则器约束有害漂移，同时允许实例级注意力适应新任务。实验表明，ASR 在多个基准上显著减少遗忘并提升性能，证明了保留技能级注意力结构的有效性。