reasoning evaluation reference-free NLI medical AI
摘要

针对高风险领域中 AI 生成回答流畅但难以验证的问题,本文提出一种基于推理的无参考评估框架。该方法将生成的推理痕迹分解为片段,利用自然语言推理标注局部前提 - 目标关系并构建超图,随后通过确定性向后 AND-OR 搜索分配审计标签。在数学演绎与临床医疗推理基准上的实验表明,该方法比直接让 LLM 作为评判者更可靠,能有效识别逻辑薄弱但表述流畅的回答,强调评估应关注推理关系的组合而非仅看最终答案。

AI 推荐理由

论文核心提出基于推理的无参考评估框架,深入分析多步推理痕迹的逻辑结构。

研究机构
Queen Mary University of London Temple University
论文信息
作者 Guneet Singh Kohli, Yuxiang Zhou, Michael Sejr Schlichtkrull, Gregory E Dean, Maria Liakata
发布日期 2026-07-22
arXiv ID 2607.19678
相关性评分 9/10 (高度相关)