摘要
视频多模态大模型在细粒度时空推理方面常表现不佳,易基于无关帧或对象生成正确答案。尽管输出时空证据是可行方向,但现有强化学习框架多依赖仅几何(IoU)的奖励,对边界扰动敏感且忽视语义对齐。为此,本文提出语义证据奖励(SER),将时空证据 grounding 重构为约束验证任务。SER 利用裁判视觉语言模型作为局部检查器,从相关性和定位质量两个维度评估模型生成的证据主张,并结合时间惩罚。该方法减少了对密集框标注的依赖,可直接在标准视频问答数据上训练。在 V-STAR 基准测试中,SER 取得了 49.6% 的 mLGM,较强基线 Open-o3-Video 提升 3.0 个点,展示了其在提升答案准确性和证据 grounding 方面的潜力。
AI 推荐理由
论文核心解决视频多模态模型的细粒度时空推理问题,提出语义证据奖励机制。
研究机构
南京大学
上海创新研究院
哈尔滨工业大学(深圳)
深圳先进技术研究院
论文信息