摘要
本文介绍了 UCS-Bench,一个涵盖 170 多小时自我中心视觉观察及 8100 多个时间戳问题的数据集,旨在诊断视频流中基于用户的持续空间智能。针对动态空间推理、长期记忆及其与用户实时位置对齐的新问题,提出了 DirectMe 框架。该框架能从流式观察中增量构建并维护结构化空间记忆,实现相对于用户移动轨迹的物体位置稳健跟踪与召回。通过紧密耦合视觉感知、记忆更新与空间推理,该方法支持长程查询,能有效回忆交互过程、解决视角歧义并适应动态场景。实验表明,DirectMe 显著提升了多模态大模型的空间推理能力。
AI 推荐理由
论文核心提出结构化空间记忆架构,解决长时记忆与动态场景对齐问题。
研究机构
新加坡国立大学计算机科学学院
浙江大学信息与电子工程学院
论文信息