摘要
大型语言模型在高中及奥数数学表现优异，但在高级数学领域能力尚不明确。现有基准覆盖范围有限且评估粒度粗糙。为此，本文提出 AdvancedMathBench，旨在评估高级数学推理能力。其核心 ProverBench 包含 296 个本科至博士资格考试级别的问题，并配套基于专家标注训练的自动验证流水线，提供细粒度错误评估。此外，VerifierBench 用于评估模型判断证明有效性的能力。实验表明，即使是前沿模型在该基准上仍面临巨大挑战，尤其在关键错误检测方面存在明显瓶颈。
AI 推荐理由
论文核心聚焦高级数学证明生成与验证，直接评估 LLM 的逻辑推理能力。
研究机构
Shanghai AI Laboratory
Shanghai Jiao Tong University
The Chinese University of Hong Kong
Great Bay University
论文信息