statistical reasoning reinforcement learning hypothesis testing benchmark
摘要

可靠的假设检验是实证科学声明的基础。尽管大语言模型(LLM)智能体被广泛用于自动化此过程,但它们常因细微的推断错误导致结论错误,且现有基准测试未能捕捉这一缺陷。本文构建了P-Bench基准,包含425个跨学科的开放型假设检验任务。同时,提出Fisher-R1,一种利用合成任务和强化学习训练的开源LLM智能体,旨在进行严谨的假设检验。实验显示,Fisher-R1-14B在P-Bench上显著优于基线模型,证明了当前LLM缺乏可靠的统计推理能力,而基于验证统计奖励的强化学习能显著提升其可靠性。

AI 推荐理由

论文核心聚焦于LLM在假设检验中的统计推理能力,通过强化学习提升其逻辑与推断的可靠性。

研究机构
Department of Biomedical Data Science, Stanford University Department of Genetics, Stanford University Department of Statistics, University of Wisconsin-Madison Department of Biostatistics and Medical Informatics, University of Wisconsin-Madison Department of Computer Science, Stanford University
论文信息
作者 Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou
发布日期 2026-08-07
arXiv ID 2608.07437
相关性评分 9/10 (高度相关)