摘要
自然语言中不确定性表达及其推理无处不在,对日常对话及医疗法律等高风险领域至关重要。尽管大语言模型常在逻辑任务中被评估,但区分原则性符号推理与表面模式匹配极具挑战。本文引入一个针对概率算子(如“可能”、“必须”)的推理基准,包含 14,320 个程序生成的提示,系统变化问题形式、否定策略及表面内容。对 29 个模型的评估显示,大多数模型存在独立于逻辑形式的答案偏差。仅 9 个模型表现优于随机猜测。研究还揭示了在问题形式、动词短语及人名性别来源等多维度的偏差。
AI 推荐理由
论文核心评估 LLM 在概率算子上的逻辑推理能力,直接针对推理机制。
研究机构
Haverford College
论文信息