观察、记忆、推理：基于人类视角的多模态大模型视频理解

本文提出了一种基于人类视角的多模态大模型（MLLM）视频理解框架，围绕“观察、记忆、推理”三大功能能力展开。针对长视频场景中稀疏证据与长程依赖的挑战，文章构建了统一结构以分析模型如何获取证据、保持上下文并生成可靠输出。文中系统梳理了时空感知、高效长视频处理、记忆建模及流式理解等关键挑战，并将现有方法按其在感知、离线与流式记忆、以及推理中的角色进行分类，最后展望了可扩展且具备记忆意识的视频智能未来方向。