摘要
长视频问答需在数小时未剪辑视频中定位稀疏证据。现有方法或因密集处理导致成本过高,或因依赖稀疏字幕而遗漏关键时序运动证据。本文提出 TimeProVe,一种高效的混合推理框架。该框架首先利用轻量级模块生成基于动作的假设与证据窗口,随后仅调用昂贵的大视觉语言模型进行针对性验证。其核心是 ACE 模块,通过轻量级 LLM 推理将局部动作转化为候选答案。实验表明,该方法在降低 93% 推理成本的同时,性能超越最强基线 7.3%。
AI 推荐理由
论文核心提出基于假设生成与验证的时序推理框架,显著提升长视频推理效率。
研究机构
University of North Carolina, Charlotte
论文信息