摘要
将自主多模态智能体部署于真实环境需处理无界音视频流并维持小时级记忆。现有评估依赖短片段和选择题,存在偏差。本文提出StreamArena基准,包含243部全长视频及开放式问答,评估实时感知、历史回溯、主动交互及工具使用。研究发现保留近期帧无法恢复远处事件,文本化丢失视觉证据,压缩导致细节丢失。为此提出StreamMind双层架构,前端负责低延迟交互,后端异步构建持久化多模态记忆并执行历史召回,显著优于基线。
AI 推荐理由
论文核心解决长时程视频理解中的记忆保持问题,提出StreamMind双层架构以管理持久化多模态记忆。
研究机构
The Hong Kong University of Science and Technology
Xiaohongshu Inc.
The University of Hong Kong
The Chinese University of Hong Kong
论文信息