流式视频理解 记忆压缩 强化学习 多模态大模型 代理控制
摘要

流式视频处理需在严格延迟限制下应对动态信息密度。现有方法多采用静态策略,难以兼顾复杂查询性能与实时性约束。本文提出 R3-Streaming 框架,将流式视频理解建模为级联控制问题:系统按需压缩记忆、判断响应就绪状态并路由计算。为此,我们引入年龄感知遗忘策略以优化记忆压缩,并提出目标平衡强化学习目标(TB-GRPO)实现计算路由,将难例导向强模型。实验表明,该方法在显著降低视觉令牌用量的同时,取得了流式多模态大模型的最先进结果。

AI 推荐理由

论文核心提出年龄感知遗忘策略及级联记忆压缩机制,解决流式视频动态信息密度问题。

研究机构
Shanghai Jiao Tong University Eastern Institute of Technology, Ningbo, China Microsoft Research Asia
论文信息
作者 Jinming Liu, Jianguo Huang, Zhaoyang Jia, Jiahao Li, Xiaoyi Zhang et al.
发布日期 2026-05-18
arXiv ID 2605.17921
相关性评分 9/10 (高度相关)