摘要
训练多模态搜索代理执行多跳推理仍具挑战，主要源于数据构建、搜索环境与奖励信号间的结构性割裂。本文提出 SearchEyes，利用类型化知识图谱作为“模拟搜索世界”的主干，统一上述三要素。我们提出“感知 - 知识链（PKC）”，在视觉与知识交集上采样受约束的多跳路径，保留跳级实体元数据以定义自包含搜索世界及步级奖励锚点。进一步提出“跳级锚定策略优化（HaPO）”，复用这些锚点进行步级信用分配，无需单独训练过程奖励模型。实验表明，SearchEyes 在六个多模态知识密集型基准测试中达到开源代理的最先进水平。
AI 推荐理由
论文核心解决多跳推理难题，提出感知 - 知识链与步级奖励优化机制。
研究机构
MMLab, CUHK
THU
HKU
PKU
NTU
CASIA
ECNU
HIT
LMU
论文信息