Video Understanding Scene Graph MLLM Egocentric Vision
摘要

现有具身多模态大语言模型受限于输入令牌长度,难以处理长视频序列,常因大量帧采样导致时空信息丢失,阻碍细粒度推理。本文提出一种基于第一人称场景图(EgoSGs)的视频问答框架,将视频转化为紧凑的文本化结构化表示,捕捉物体、属性及交互的时序变化。该方法在大幅减少输入长度的同时保留关键语义,使模型能在令牌预算内高效推理整个视频序列,在 HD-EPIC 数据集上取得了最先进成果。

AI 推荐理由

论文核心是通过场景图结构解决长视频中的细粒度推理问题,直接提升 MLLM 推理能力。

研究机构
Politecnico di Milano, Milan, Italy Bocconi University, Milan, Italy
论文信息
作者 Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci
发布日期 2026-06-24
arXiv ID 2606.25842
相关性评分 9/10 (高度相关)