大语言模型中道义条件推理的评估：以沃森选择任务为例

随着大语言模型语言能力的提升，其推理能力日益受到关注。人类推理在规范性语境中往往表现优于纯形式语境，但 LLM 推理的领域特异性尚待探索。本研究引入一个新的沃森选择任务数据集，明确编码道义模态以区分道义与描述性条件句，进而考察 LLM 在道义规则下的条件推理能力。分析表明，LLM 像人类一样在道义规则下表现更佳，并表现出类似匹配偏差的错误模式。结果揭示了 LLM 性能随规则类型系统变化，且错误模式与人类已知偏差平行。