摘要
视频推理要求模型在长视频序列中识别并验证时间定位的证据。现有视频大语言模型(Video-LLMs)虽经强化学习对齐展现出推理能力,但多依赖仅监督最终预测的结果奖励,缺乏对中间推理过程中如何发现相关时间证据的指导。本文提出 TimeThink,一种显式引导 Video-LLMs 进行时间证据发现的强化学习框架。其核心思想是将时间线索步骤视为视频推理的基本优化原语,每一步推理均引用视频中的候选时间区间。我们引入了逐步时间过程奖励以提供局部信用分配,并结合过程 - 结果联合优化目标以平衡推理保真度与任务正确性。为实现可扩展训练,构建了包含自动推导时间证据段的 TimeThink-RFT-20K 数据集。实验表明,该方法在多项基准上显著提升了时间定位与推理性能。
AI 推荐理由
论文核心提出 TimeThink 框架,通过强化学习显式引导视频 LLM 的时间证据发现与推理过程。
研究机构
中国科学院自动化研究所
OPPO AI Center
论文信息