摘要
大语言模型擅长回答预设问题,但其在前结论阶段的开放探索能力尚未被充分衡量。本文提出“前瞻性假设发现”(PHD)任务,要求模型基于不完整证据自主构建有依据、可区分且可检验的假设空间。为此,我们推出了 HypoArena 基准,包含涵盖六个领域的 988 个案例及相应的评估框架。通过回溯上下文回归方法重构数据,并结合双向成对判断与多维评分进行评测。实验揭示了不同模型在该能力上的显著分层,证明 PHD 是评估 LLM 制定调查方向能力的关键指标。
AI 推荐理由
论文核心评估 LLM 基于不完整证据构建可检验假设的推理能力,属于高阶逻辑与科学推理范畴。
研究机构
University of Chinese Academy of Sciences
Institute of Software, Chinese Academy of Sciences
论文信息