Video Retrieval Theory of Mind Narrative Reasoning Multimodal AI
摘要

当前视频时刻检索擅长动作任务却难以理解叙事内容,根源在于缺乏心智理论(ToM)以推断隐含意图与叙事因果。本文提出 StoryTR,首个需 ToM 推理的视频检索基准,包含 8.1k 个叙事短视频样本。为赋予模型此能力,作者设计了代理数据管道,生成显式的三层 ToM 链(意图解码、叙事推理、边界定位)。实验表明,经 ToM 引导数据训练的模型显著优于基线,证明叙事推理能力比参数规模更关键。

AI 推荐理由

论文核心在于利用心智理论(ToM)进行叙事因果与意图推理,解决视频检索中的语义鸿沟。

研究机构
香港大学计算机科学与工程系 SkyReels, Skywork AI
论文信息
作者 Xuanyue Zhong, Yuqiang Xie, Guanqun Bi, Jiangping Yang, Guibin Chen
发布日期 2026-04-25
arXiv ID 2604.23198
相关性评分 9/10 (高度相关)