摘要
基于知识的视觉问答（KB-VQA）需结合图像理解与外部知识。针对现有方法检索流程固定、缺乏自适应性的问题，本文提出 ProMSA，一种渐进式多模态搜索智能体。该智能体在明确工具调用预算下去重并迭代选择图像搜索、文本搜索或停止。训练上，先利用拒绝采样监督微调学习有效工具格式，再通过 TN-GSPO（一种序列级强化学习目标）进行优化，按生成长度和工具交互深度归一化更新。实验表明，该方法在 E-VQA 和 InfoSeek 数据集上优于强 RAG 及智能体基线，显著提升了检索与端到端准确率。
AI 推荐理由
论文核心在于 Agent 动态选择图像/文本搜索工具的策略及优化，属技能学习范畴。
研究机构
OPPO AI Center, OPPO Inc. China
The Shenzhen International Graduate School, Tsinghua University
Nanyang Technological University, Singapore
论文信息