DeFAb：基础模型中可废止溯因推理的可验证基准

本文提出 DeFAb，一个用于评估基础模型可废止溯因推理能力的基准数据集。该研究将四十年的公共知识库转化为形式化实例，要求模型通过覆盖默认规则来解释异常，同时保持无关预期。每个假设均需经过多项式时间的有效性、保守性和最小性验证。实验显示，最先进语言模型在该任务上表现不佳，准确率远低于符号求解器，且思维链方法方差巨大。此外，作者发布了高难度变体及可用于强化学习的精确奖励验证器。