摘要
跨视频比较中的运动指令生成旨在描述查询与参考动作间的差异,但现有模型常产生无法反映真实运动学差异的“运动幻觉”。本文提出 MotionHalluc 基准,包含 553 个视频对的 1540 个细粒度问题,从方向、归因和时间三个维度评估幻觉。实验表明主流多模态模型易受此类幻觉影响。此外,文章提出无需训练的“感知 - 解析 - 验证”(PPV)基线,通过将指令转化为可执行测量查询并在推理时注入运动学数据,显著降低幻觉,平均性能提升 10.6%。
AI 推荐理由
论文核心研究多模态模型在细粒度运动推理中的幻觉问题及通过量化测量增强推理能力。
研究机构
Sun Yat-Sen University
Shenzhen University
论文信息