摘要
现有视频推理研究多利用时空证据链,但忽视了物体在观测间“如何”移动的问题。本文形式化了时空轨迹(STT)推理,并提出 Motion-o,一种以运动为中心的视觉语言模型扩展,使轨迹显式化且可验证。为此,我们构建了轨迹接地数据集,通过增强稀疏关键帧监督生成密集边界框轨迹。此外,引入运动思维链(MCoT),利用离散标签总结物体方向、速度及尺度变化,将接地观测显式连接为轨迹。实验表明,该方法无需架构修改即可显著提升时空接地与轨迹预测能力。
AI 推荐理由
论文提出时空轨迹推理新范式及思维链方法,核心聚焦于增强视频推理能力。
研究机构
东北大学
论文信息