CORE：大型语言模型的综合本体关系评估

大型语言模型在许多推理基准上表现优异，但现有评估鲜少考察其区分有意义语义关系与真正无关性的能力。本文提出 CORE，包含涵盖 74 个学科的 22.5 万道选择题数据集，以及一个经过严格验证的通用领域开源基准。研究发现，尽管最先进模型在相关对上表现接近天花板，但在无关对上准确率严重下降且置信度虚高，显示出系统性的虚假关系生成。该研究指出无关性推理是 LLM 评估与安全的关键前沿。