摘要
针对具身智能中单一第一人称记忆在时空推理上的不足,本文受人类双视角回忆启发,提出了首个同步第一人称与第三人称视频的跨视角记忆推理基准 EgoExoMem。该基准包含 2600 道高质量多选题。为支持双视角检索,作者提出了无需训练的帧选择方法 E²-Select,通过相关性预算分配与每视图 k-DPP 采样解决视角不对称问题。实验表明双视角具有互补性,现有模型表现尚佳,而该方法在记忆基线上取得了最优性能。
AI 推荐理由
论文提出跨视角记忆推理基准,核心研究多视图下的记忆检索与推理机制。
研究机构
Karlstube Institute of Technology
ETH Zurich
University of Oxford
论文信息