摘要
多模态大语言模型在复杂开放场景中常面临事实依据不足的挑战。现有方法多依赖简单图像与纯文本证据,限制了跨模态多跳推理能力。为此,本文提出 Visual-Seeker,一种基于主动视觉推理的视觉原生多模态深度搜索代理。该代理将视觉视为动态输入,主动关注细粒度细节并实时收集视觉证据。我们构建了主动视觉推理数据流水线,合成 5000 条高质量轨迹用于训练。实验表明,该方法在五个基准测试中达到最先进水平,甚至超越部分专有模型,验证了其在真实网络环境中的鲁棒推理与搜索能力。
AI 推荐理由
论文核心提出主动视觉推理机制,解决多模态搜索中的事实 grounding 与多跳推理难题。
研究机构
School of Artificial Intelligence, UCAS
Institute of Automation, CAS
Ant Digital Technologies, Ant Group
RUC
论文信息