摘要
流式视频处理需在严格延迟限制下应对动态信息密度。现有方法多采用静态策略,难以兼顾复杂查询性能与实时性约束。本文提出 R3-Streaming 框架,将流式视频理解建模为级联控制问题:系统按需压缩记忆、判断响应就绪状态并路由计算。为此,我们引入年龄感知遗忘策略以优化记忆压缩,并提出目标平衡强化学习目标(TB-GRPO)实现计算路由,将难例导向强模型。实验表明,该方法在显著降低视觉令牌用量的同时,取得了流式多模态大模型的最先进结果。
AI 推荐理由
论文核心提出年龄感知遗忘策略及级联记忆压缩机制,解决流式视频动态信息密度问题。
研究机构
Shanghai Jiao Tong University
Eastern Institute of Technology, Ningbo, China
Microsoft Research Asia
论文信息