摘要
视频空间推理需随时间积累视角依赖证据并保留问题相关信息。现有模型常将记忆视为通用时序缓存,导致冗余几何信息削弱长程推理。本文提出 Q-GeoMem,一种问答引导的几何记忆框架。该框架注入相机条件几何信息至视觉令牌,并维护两种互补记忆:细粒度上下文库存储近期密集特征与相机状态,语义几何证据库存储紧凑长程证据。通过结合问题相关性与新颖性对帧评分,并采用基于容量的替换规则保持库紧凑。推理时自适应融合双记忆与当前帧表示。实验表明该方法在空间推理基准上达到最先进水平。
AI 推荐理由
论文提出问答引导的几何记忆框架,核心贡献在于记忆架构设计与更新机制。
研究机构
University of Science and Technology of China
Northwestern Polytechnical University
Shanghai AI Lab
TeleAI
论文信息