Negative Reasoning Evaluation Benchmark Evidence Coverage LLM Limitations
摘要

大型语言模型常被询问某事物是否缺失于记录或上下文中。然而,仅当证据完全覆盖查询范围时,未观察才能作为否定答案的依据;否则应回答未知。本文称之为“对完整性敏感的否定推理”。我们引入了CROWN-QA基准,包含控制变量覆盖率的合成数据集和真实文档对比集。实验显示,主流模型存在不稳定的闭合判断及严重的过度闭合问题,无法可靠区分有证否定的“已确认”与证据不足的“未知”。结构化提示分析表明,错误主要源于对证据覆盖范围的误判,且该缺陷在真实文档中依然显著。

AI 推荐理由

论文核心评估LLM在缺乏证据时的否定推理能力,直接关联逻辑推理与常识推理机制。

研究机构
首尔三星大学计算机科学系,韩国首尔 纽约市立大学斯塔滕岛学院,美国纽约州纽约市 首尔汉阳大学计算机工程系,韩国首尔 首尔淑明女子大学,韩国首尔 延世大学信息研究生院,韩国首尔
论文信息
作者 Byoungjae Min, Kennedy Edemacu, Sae-Hong Cho, Yoonhyuk Choi, Beakcheol Jang et al.
发布日期 2026-08-05
arXiv ID 2608.04591
相关性评分 9/10 (高度相关)