摘要
大型推理模型在生成最终答案前会产生漫长的推理轨迹,但其中包含的无关和重复步骤等噪声严重阻碍了基于轨迹的幻觉检测。本文提出 REDE 框架,利用最终答案注意力机制作为自动监督信号,重塑步级表示空间,从而可靠地识别并过滤噪声步骤。实验表明,该方法能显著提升多种基准测试上的幻觉检测性能,优于现有基线。
AI 推荐理由
论文核心研究大型推理模型的推理轨迹去噪,直接提升幻觉检测与推理质量。
研究机构
College of Computing and Data Science, Nanyang Technological University
Zhejiang University
Australian Artificial Intelligence Institute, University of Technology Sydney
论文信息