多模态检索 思维链 大视觉语言模型 检索增强生成
摘要

统一多模态检索旨在通过异构输入识别满足复杂用户意图的候选项。尽管基于大视觉语言模型(LVLM)的检索器高效可扩展,但直接编码原始多模态输入常因缺乏细粒度判别线索而导致语义相似候选项混淆。现有方法虽生成思维链(CoT)丰富查询表示,但仅基于查询本身,未解释检索器的误解。本文提出UniME-R1框架,学习基于初始检索候选项的检索中心式思维链(RC-CoT)。顾问模块分析候选项以识别被嵌入器混淆的判别线索,若目标在Top-k中则重排,否则生成RC-CoT细化检索方向并执行全库重检索。通过挖掘硬负样本模拟真实检索失败,联合优化直接检索与RC-CoT增强检索,并在多个基准上显著提升了性能。

AI 推荐理由

论文核心提出基于检索反馈的RC-CoT推理机制,利用思维链分析错误以优化多模态检索,直接针对推理能力进行增强。

研究机构
Glint Lab
论文信息
作者 Zelong Sun, Jun Wang, Kaicheng Yang, Tiancheng Gu, Ziyong Feng et al.
发布日期 2026-08-06
arXiv ID 2608.06060
相关性评分 9/10 (高度相关)