摘要
本文提出Video-DeepResearch (Video-DR),将多模态智能体从静态图像扩展至连续视频流,要求密集时空定位与开放网络探索。针对当前模型存在的模态偏差(偏好文本搜索)和参数知识泄露问题,我们设计了感知-探索解耦流水线及分阶段工具解锁机制,强制在检索前进行跨帧视觉定位。框架采用监督微调结合组相对策略优化(GRPO)的两阶段训练,实现自主探索。此外,构建了包含200个复杂多跳VQA实例的Video-DR-Bench基准。实验表明,Video-DeepResearch-35B-A3B以64.0%的平均准确率刷新SOTA,显著优于Claude-4.5-Sonnet等专有模型。
AI 推荐理由
论文核心解决Agent在视频流中的工具使用偏差,通过解耦感知与探索、分阶段解锁工具,强化视觉工具的调用能力。
研究机构
USTC
论文信息