CausalGame：在游戏中基准测试 LLM 代理的因果思维

构建基于大语言模型（LLM）的 AI 科学家代理日益受到关注。由于科学发现根本上依赖于从观测中揭示因果关系，因此区分因果与相关、识别隐藏偏差的因果思维能力对 LLM 代理至关重要。现有基准缺乏对选择偏差、测量误差及隐藏混杂因素的挑战。为此，本文提出 CausalGame，通过交互式游戏评估 LLM 代理的因果思维能力。该基准要求代理主动设计实验协议、收集数据并生成解释报告。实验涵盖 14 种包含现实偏差的场景，结果显示当前模型在因果推理方面表现不佳，亟需改进。