摘要
当前视频时刻检索擅长动作任务却难以理解叙事内容,根源在于缺乏心智理论(ToM)以推断隐含意图与叙事因果。本文提出 StoryTR,首个需 ToM 推理的视频检索基准,包含 8.1k 个叙事短视频样本。为赋予模型此能力,作者设计了代理数据管道,生成显式的三层 ToM 链(意图解码、叙事推理、边界定位)。实验表明,经 ToM 引导数据训练的模型显著优于基线,证明叙事推理能力比参数规模更关键。
AI 推荐理由
论文核心在于利用心智理论(ToM)进行叙事因果与意图推理,解决视频检索中的语义鸿沟。
研究机构
香港大学计算机科学与工程系
SkyReels, Skywork AI
论文信息