摘要
针对视觉语言模型在视频领域因时序理解需求及数据稀缺导致性能下降的问题,本文聚焦充满挑战的海洋视频理解。作者构建了首个以事件为中心的海洋视频理解数据集 MarineEVT,包含 2 万对多任务视频级问答数据。基于此,提出了事件中心视觉工具集成推理方法(EVT-R1),利用强大视觉工具驱动模型定位并解释关键信息。实验表明,该方法在多项设置下显著优于当前最先进的开源及商业模型,为海洋生态发现与教育奠定了基础。
AI 推荐理由
论文提出事件中心视觉工具集成推理框架,核心在于利用工具驱动模型进行定位与解释的推理过程。
研究机构
The Hong Kong University of Science and Technology, Hong Kong, China
University of California, Los Angeles CA, USA
University of Electronic Science and Technology of China, China
论文信息