Hypothesis Discovery Scientific Reasoning Benchmark LLM Evaluation
摘要

大语言模型擅长回答预设问题,但其在前结论阶段的开放探索能力尚未被充分衡量。本文提出“前瞻性假设发现”(PHD)任务,要求模型基于不完整证据自主构建有依据、可区分且可检验的假设空间。为此,我们推出了 HypoArena 基准,包含涵盖六个领域的 988 个案例及相应的评估框架。通过回溯上下文回归方法重构数据,并结合双向成对判断与多维评分进行评测。实验揭示了不同模型在该能力上的显著分层,证明 PHD 是评估 LLM 制定调查方向能力的关键指标。

AI 推荐理由

论文核心评估 LLM 基于不完整证据构建可检验假设的推理能力,属于高阶逻辑与科学推理范畴。

研究机构
University of Chinese Academy of Sciences Institute of Software, Chinese Academy of Sciences
论文信息
作者 Tianyun Zhong, Wangyi Jiang, Wei Wang, Xuanang Chen, Yaojie Lu et al.
发布日期 2026-07-17
arXiv ID 2607.15766
相关性评分 9/10 (高度相关)