Multimodal LLMs Parameter-Efficient Fine-Tuning Context Compression Memory Mechanism
摘要

全模态语言模型在处理长联合Token序列时面临计算瓶颈,现有Token压缩方法易破坏跨模态时序锚点,导致推理连贯性受损。本文提出Omni2LoRA框架,通过相干性保持的上下文蒸馏实现高效的参数化记忆压缩。该方法利用Perceiver超网络将多模态上下文编码为低秩自适应(LoRA)适配器,并通过基于反事实奖励的策略优化离散秩分配,强制模型保留关键的跨模态协同特征而非孤立视觉信息。实验表明,在仅30%秩预算下,该方法在多项基准测试中优于现有Token压缩基线,显著降低首Token延迟并维持高准确率。

AI 推荐理由

论文核心提出参数化记忆压缩机制,通过LoRA适配器存储多模态上下文以替代传统Token序列,直接解决长期记忆与推理连贯性问题。

研究机构
University of Maryland, College Park
论文信息
作者 Puneet Mathur, Manan Suri, Dinesh Manocha
发布日期 2026-08-10
arXiv ID 2608.09227
相关性评分 9/10 (高度相关)