4D Spatio-Temporal Reasoning Multimodal Large Language Models Dynamic Object Tracking Geometry-informed Priors
摘要

4D 时空推理对理解动态世界至关重要,但现有多模态大模型(MLLM)在处理连续动态场景时存在局限,难以区分真实物体运动与相机视差。受人类认知启发,本文提出 DynTrace,一种无需训练的框架。它包含动态轨迹可视化(DTV)和动态追踪令牌(DT-Token)两个组件,前者提供几何视觉先验以解耦运动,后者构建动态追踪图以维持连续的物体动态证据。实验表明,DynTrace 显著提升了开源 MLLM 在多个基准测试上的 4D 时空推理性能。

AI 推荐理由

论文核心解决 MLLM 在 4D 时空推理中的局限,提出新框架增强动态证据追踪以提升推理能力。

研究机构
中国矿业大学 深圳技术大学 厦门大学 深圳国际研究生院,清华大学
论文信息
作者 Rongxin Gao, Yuzhi Huang, Dongxuan Liu, Chu Li, Zhenye Wang et al.
发布日期 2026-07-14
arXiv ID 2607.12503
相关性评分 9/10 (高度相关)