Embodied AI Cross-View Memory Video Understanding Benchmark
摘要

针对具身智能中单一第一人称记忆在时空推理上的不足,本文受人类双视角回忆启发,提出了首个同步第一人称与第三人称视频的跨视角记忆推理基准 EgoExoMem。该基准包含 2600 道高质量多选题。为支持双视角检索,作者提出了无需训练的帧选择方法 E²-Select,通过相关性预算分配与每视图 k-DPP 采样解决视角不对称问题。实验表明双视角具有互补性,现有模型表现尚佳,而该方法在记忆基线上取得了最优性能。

AI 推荐理由

论文提出跨视角记忆推理基准,核心研究多视图下的记忆检索与推理机制。

研究机构
Karlstube Institute of Technology ETH Zurich University of Oxford
论文信息
作者 Ruiping Liu, Junwei Zheng, Yufan Chen, Di Wen, Shaofang Quan et al.
发布日期 2026-05-18
arXiv ID 2605.18734
相关性评分 9/10 (高度相关)