Spatial Memory Egocentric Video Continual Learning Multimodal LLM
摘要

本文介绍了 UCS-Bench,一个涵盖 170 多小时自我中心视觉观察及 8100 多个时间戳问题的数据集,旨在诊断视频流中基于用户的持续空间智能。针对动态空间推理、长期记忆及其与用户实时位置对齐的新问题,提出了 DirectMe 框架。该框架能从流式观察中增量构建并维护结构化空间记忆,实现相对于用户移动轨迹的物体位置稳健跟踪与召回。通过紧密耦合视觉感知、记忆更新与空间推理,该方法支持长程查询,能有效回忆交互过程、解决视角歧义并适应动态场景。实验表明,DirectMe 显著提升了多模态大模型的空间推理能力。

AI 推荐理由

论文核心提出结构化空间记忆架构,解决长时记忆与动态场景对齐问题。

研究机构
新加坡国立大学计算机科学学院 浙江大学信息与电子工程学院
论文信息
作者 Yun Wang, Junbin Xiao, Han Lyu, Yifan Wang, Jing Zuo et al.
发布日期 2026-06-13
arXiv ID 2606.15200
相关性评分 9/10 (高度相关)