摘要
视频大语言模型(Video-LLMs)在开放域视频理解方面进展显著,但其视觉接口仍消耗大量Token,且缺乏显式结构以链接随时间重复出现的物体证据。本文提出SlotNarrative,这是一种基于槽位的接口,将视频组织为由紧凑的对象状态Token表示的持久化对象叙事。SlotNarrative首先将视觉特征分组为类对象槽,随后通过集成多种互补匹配线索的轻量级、无参数记忆,将重复观察结果与片段级对象条目关联。每个保留的条目被序列化为两种Token:总结持久外观的身份Token和编码段级外观、几何、可见性及轨迹信息的状态Token。该设计为冻结的Video-LLM提供了仅144个视觉Token位置的接口,独立于采样帧数。实验表明,SlotNarrative在准确性与Token数量之间取得了良好权衡,为Video-LLMs提供了一种紧凑、结构化且时间有序的视频界面。
AI 推荐理由
论文核心提出基于槽位的持久化对象叙事机制,利用轻量级无参数记忆模块关联跨时间步的视觉特征,属于典型的长期记忆与情景记忆增强架构。
研究机构
Tianjin University
论文信息