当涉及掷骰子时，大语言模型有多可靠？

本文通过受控基准研究调查大语言模型的离散概率推理能力。构建了标准习题与反直觉习题两组数据集以触发启发式推理，并评估了八种最先进模型在有无思维链提示下的表现。结果显示，模型在标准问题上平均准确率达 0.96，但在反直觉问题上仅为 0.59。研究进一步提供了令牌偏差的经验证据：当规范表述被伪装变体替代时，性能下降超 20%；嵌入误导性建议可使性能降低高达 34%，且无一模型能幸免。结论表明，尽管在高级数学问题上表现成功，当前大语言模型尚非真正的概率推理者。