摘要
可靠的假设检验是实证科学声明的基础。尽管大语言模型(LLM)智能体被广泛用于自动化此过程,但它们常因细微的推断错误导致结论错误,且现有基准测试未能捕捉这一缺陷。本文构建了P-Bench基准,包含425个跨学科的开放型假设检验任务。同时,提出Fisher-R1,一种利用合成任务和强化学习训练的开源LLM智能体,旨在进行严谨的假设检验。实验显示,Fisher-R1-14B在P-Bench上显著优于基线模型,证明了当前LLM缺乏可靠的统计推理能力,而基于验证统计奖励的强化学习能显著提升其可靠性。
AI 推荐理由
论文核心聚焦于LLM在假设检验中的统计推理能力,通过强化学习提升其逻辑与推断的可靠性。
研究机构
Department of Biomedical Data Science, Stanford University
Department of Genetics, Stanford University
Department of Statistics, University of Wisconsin-Madison
Department of Biostatistics and Medical Informatics, University of Wisconsin-Madison
Department of Computer Science, Stanford University
论文信息