摘要
历史上下文的整合是视觉-语言模型(VLM)在序列决策任务中的基本挑战。现有VLM独立处理视觉输入,缺乏时间理解能力,而直接拼接历史帧会导致计算复杂度和内存消耗激增。为此,我们提出了动态上下文适配器(DCA),这是一种用于预训练VLM的新型上下文注入方法。该方法采用固定大小的动态压缩记忆,在不拼接帧的情况下保留历史语义,桥接了静态VLM与循环策略,使预训练模型具备记忆能力并保持计算效率。实验表明,DCA在长程任务上提升了性能,同时注意力FLOPs减少25%以上,内存节省13%。
AI 推荐理由
论文核心提出动态上下文适配器以解决VLM的历史信息整合问题,直接针对记忆机制与架构进行创新。
研究机构
利物浦大学计算机科学系
清华大学计算机科学系
帝国理工学院
论文信息