摘要
针对高风险领域中 AI 生成回答流畅但难以验证的问题,本文提出一种基于推理的无参考评估框架。该方法将生成的推理痕迹分解为片段,利用自然语言推理标注局部前提 - 目标关系并构建超图,随后通过确定性向后 AND-OR 搜索分配审计标签。在数学演绎与临床医疗推理基准上的实验表明,该方法比直接让 LLM 作为评判者更可靠,能有效识别逻辑薄弱但表述流畅的回答,强调评估应关注推理关系的组合而非仅看最终答案。
AI 推荐理由
论文核心提出基于推理的无参考评估框架,深入分析多步推理痕迹的逻辑结构。
研究机构
Queen Mary University of London
Temple University
论文信息