摘要
针对多模态大模型在逐步跨模态推理上的需求,本文提出 MC-Search,首个包含长步级标注推理链的多模态代理检索增强生成基准。该基准涵盖五种推理结构,通过 HAVE 机制确保数据质量,并引入过程级指标评估推理与规划准确性。实验揭示了现有模型在检索过量/不足及模态对齐规划上的系统性问题。此外,作者提出 Search-Align 框架,利用验证后的推理链进行过程监督微调,显著提升了开源模型的规划与检索保真度。
AI 推荐理由
论文核心关注多模态代理的长链推理、自适应规划及任务分解,提出新基准与优化框架。
研究机构
伊利诺伊大学厄巴纳-香槟分校
IBM Research
论文信息