摘要
现有具身多模态大语言模型受限于输入令牌长度,难以处理长视频序列,常因大量帧采样导致时空信息丢失,阻碍细粒度推理。本文提出一种基于第一人称场景图(EgoSGs)的视频问答框架,将视频转化为紧凑的文本化结构化表示,捕捉物体、属性及交互的时序变化。该方法在大幅减少输入长度的同时保留关键语义,使模型能在令牌预算内高效推理整个视频序列,在 HD-EPIC 数据集上取得了最先进成果。
AI 推荐理由
论文核心是通过场景图结构解决长视频中的细粒度推理问题,直接提升 MLLM 推理能力。
研究机构
Politecnico di Milano, Milan, Italy
Bocconi University, Milan, Italy
论文信息