摘要
多模态浏览任务要求代理结合感知、工具使用及长程推理处理动态网页内容。针对现有方法忽视“文本到图像”信息流模式的问题,本文提出 UNIBROWSE 统一数据流水线,首次覆盖三种信息流模式,并利用实时网络检索增强知识图谱。该方法引入探索度指标过滤低信号样本,通过监督微调与探索感知强化学习训练了 35B 规模代理。实验表明,该代理在多模态基准测试中取得最先进水平,显著超越基座模型及多个闭源代理工作流。
AI 推荐理由
论文核心在于构建多模态浏览代理的工具使用能力,通过新数据流水线训练 agent 掌握复杂工具交互。
研究机构
中国科学院计算技术研究所
北京大学计算机学院
论文信息