Video Understanding Chain-of-Thought Temporal Localization Multimodal Reasoning
摘要

推理时序定位(RTL)要求模型在单一响应中联合生成包含支持性时间间隔的答案,需兼顾高层推理与精确时序基础。为此,本文提出首个以事件为中心的视频思维链框架 EventCoT。该框架首先对输入视频进行以事件为中心的标记化,转化为紧凑的事件令牌以高效识别相关问题事件;随后在已识别事件内进行推理生成答案,并通过嵌入匹配将占位符令牌与视觉嵌入对齐以实现时间间隔基础。EventCoT 在 ActivityNet-RTL 基准上取得最先进结果,且视觉令牌用量显著少于前人工作。此外,在 ReXTime 基准上的零样本评估也验证了其强大的通用性能。

AI 推荐理由

提出事件中心思维链框架,核心解决视频时序定位中的高层推理与精确 grounding 联合生成问题。

研究机构
Pohang University of Science and Technology, Pohang, South Korea Korea Advanced Institute of Science and Technology, Daejeon, South Korea Handong Global University, Pohang, South Korea
论文信息
作者 Youngkil Song, Yoonjae Baek, Dongwon Kim, Inho Kim, Dongkeun Kim et al.
发布日期 2026-07-06
arXiv ID 2607.04872
相关性评分 9/10 (高度相关)