Video MLLM Reinforcement Learning Spatio-temporal Reasoning Evidence Grounding
摘要

视频多模态大模型在细粒度时空推理方面常表现不佳,易基于无关帧或对象生成正确答案。尽管输出时空证据是可行方向,但现有强化学习框架多依赖仅几何(IoU)的奖励,对边界扰动敏感且忽视语义对齐。为此,本文提出语义证据奖励(SER),将时空证据 grounding 重构为约束验证任务。SER 利用裁判视觉语言模型作为局部检查器,从相关性和定位质量两个维度评估模型生成的证据主张,并结合时间惩罚。该方法减少了对密集框标注的依赖,可直接在标准视频问答数据上训练。在 V-STAR 基准测试中,SER 取得了 49.6% 的 mLGM,较强基线 Open-o3-Video 提升 3.0 个点,展示了其在提升答案准确性和证据 grounding 方面的潜力。

AI 推荐理由

论文核心解决视频多模态模型的细粒度时空推理问题,提出语义证据奖励机制。

研究机构
南京大学 上海创新研究院 哈尔滨工业大学(深圳) 深圳先进技术研究院
论文信息
作者 Sheng Xia, Zhengqin Lai, Tianxiang Jiang, Kanghui Tian, Shoujun Zhou et al.
发布日期 2026-06-23
arXiv ID 2606.24726
相关性评分 9/10 (高度相关)