摘要
角色专用的问答流水线常将推理过程从推理器传递给验证器,但其实际价值尚不明确。本文提出一种消息干预诊断方法,固定证据和候选答案,仅改变传递的推理内容。实验显示,忠实推理对准确率提升微乎其微,而受损推理显著影响支持度判断。人类审计表明模型存在过度信任现象。结论建议将推理共享视为验证消息机制进行评估,而非单纯追求准确率。
AI 推荐理由
论文深入探究推理链(rationales)在验证过程中的实际效用与机制,直接关联LLM推理能力的评估与优化。
研究机构
University of Zurich
上海交大
论文信息