Vision-Language Models Context Injection Efficient Memory Sequential Decision Making
摘要

历史上下文的整合是视觉-语言模型(VLM)在序列决策任务中的基本挑战。现有VLM独立处理视觉输入,缺乏时间理解能力,而直接拼接历史帧会导致计算复杂度和内存消耗激增。为此,我们提出了动态上下文适配器(DCA),这是一种用于预训练VLM的新型上下文注入方法。该方法采用固定大小的动态压缩记忆,在不拼接帧的情况下保留历史语义,桥接了静态VLM与循环策略,使预训练模型具备记忆能力并保持计算效率。实验表明,DCA在长程任务上提升了性能,同时注意力FLOPs减少25%以上,内存节省13%。

AI 推荐理由

论文核心提出动态上下文适配器以解决VLM的历史信息整合问题,直接针对记忆机制与架构进行创新。

研究机构
利物浦大学计算机科学系 清华大学计算机科学系 帝国理工学院
论文信息
作者 Yuhang Song, Bor-Jiun Lin, Jiaxu Liu, Te-Chuan Chiu, Anh Nguyen et al.
发布日期 2026-08-11
arXiv ID 2608.10525
相关性评分 9/10 (高度相关)