摘要
体育视频因涉及复杂动态的人类活动,成为多模态理解的挑战领域。尽管多模态大语言模型进展迅速,但长程推理仍显困难,因其需定位稀疏的时间证据并进行整合。为此,本文推出大规模基准 SportsTime,包含大量开放问答及时间证据标注。基于此,提出时间链推理(CoTR)方法,将推理视为时间接地证据的组合过程。训练时引入时间奖励机制,推理时采用“锚定 - 观察 - 推断”循环以迭代定位和验证证据。实验证明该方法显著提升了时间组合推理能力及接地质量。
AI 推荐理由
论文提出时间组合推理方法,核心解决长视频中的逻辑推理与证据整合问题。
研究机构
School of Artificial Intelligence, University of Chinese Academy of Sciences
MAIS, Institute of Automation, Chinese Academy of Sciences
论文信息