Small Language Models Search Agents Multi-hop Reasoning Hallucination Reduction
摘要

配备搜索工具的智能体已成为知识密集型任务的有效解决方案。尽管大语言模型具备强大的推理能力,但其高昂的计算成本限制了实际部署。近期研究致力于将大模型的智能体行为蒸馏至小型语言模型。然而评估发现,小模型调用搜索工具频率较低且易产生幻觉。为此,本文提出一种轻量级微调方法,显式训练小模型基于检索证据可靠地生成答案。实验表明,该方法在多跳推理基准上显著优于传统蒸馏方法,达到大模型水平,并揭示了自适应搜索策略可能损害性能,一致性搜索行为对可靠推理至关重要。

AI 推荐理由

论文核心解决小模型在复杂多跳推理任务中的幻觉与检索不足问题,提升推理可靠性。

研究机构
New York University University of Illinois Urbana-Champaign Nanyang Technological University
论文信息
作者 Yizhou Liu, Qi Sun, Yulin Chen, Siyue Zhang, Chen Zhao
发布日期 2026-04-06
arXiv ID 2604.04651
相关性评分 9/10 (高度相关)