摘要
4D 时空推理对理解动态世界至关重要,但现有多模态大模型(MLLM)在处理连续动态场景时存在局限,难以区分真实物体运动与相机视差。受人类认知启发,本文提出 DynTrace,一种无需训练的框架。它包含动态轨迹可视化(DTV)和动态追踪令牌(DT-Token)两个组件,前者提供几何视觉先验以解耦运动,后者构建动态追踪图以维持连续的物体动态证据。实验表明,DynTrace 显著提升了开源 MLLM 在多个基准测试上的 4D 时空推理性能。
AI 推荐理由
论文核心解决 MLLM 在 4D 时空推理中的局限,提出新框架增强动态证据追踪以提升推理能力。
研究机构
中国矿业大学
深圳技术大学
厦门大学
深圳国际研究生院,清华大学
论文信息