Multi-stream Understanding MLLM Evaluation Cross-stream Reasoning Video Streaming
摘要

尽管视频流理解已取得进展,但实时应用亟需连续的多流交互能力。现有基准仅局限于单流范式,缺乏对在线跨流推理的评估。为此,本文提出 X-Stream,首个 dedicated 多流流式理解基准,涵盖多窗口、多视图及多设备场景下的 11 个子任务。研究创新性地将多模态大语言模型(MLLMs)概念化为朴素多路复用器,并基于信号多路复用理论系统评估其性能。实验表明,当前最先进模型在并发流处理上表现不佳,得分仅约 50%,且缺乏主动性。该研究揭示了现有方案的权衡,为下一代多流智能体提供了评估协议与实证指导。

AI 推荐理由

论文核心评估 MLLM 在多流场景下的跨流推理能力,揭示其逻辑处理短板。

研究机构
MMLab, Chinese University of Hong Kong Huawei Inc.
论文信息
作者 Peiwen Sun, Xudong Lu, Huadai Liu, Yang Bo, Dongming Wu et al.
发布日期 2026-06-01
arXiv ID 2606.02482
相关性评分 8/10 (高度相关)