摘要
针对现有开源工作在长时程多模态任务上的不足,本文提出 InternVideo3 框架,通过多模态上下文推理(MCR)增强代理能力。MCR 将理解视为基于共享演化上下文的闭环过程,涵盖观察、指令、推理、工具动作及记忆,把长视频理解重构为证据积累与验证。为实现高效处理,引入了保留 token 的多模态多头潜在注意力机制(M^2LA)以压缩 KV 缓存。实验表明,该模型在 Video-MME 等基准上表现优异,并展现出稳健的基于证据的代理行为。
AI 推荐理由
论文核心提出多模态上下文推理(MCR)框架,将长视频理解建模为闭环推理与证据积累过程。
研究机构
上海人工智能实验室
论文信息