摘要
尽管大语言模型在数学问题解决上日益强大，但缺乏可扩展且可复现的方法来衡量长证明中的逐步推理能力。现有评估多关注最终答案或依赖昂贵的人工评分。本文提出 Mask-Proof 流水线，将真实证明转化为自动可验证的掩码步骤任务，通过遮蔽关键公式步骤并利用基于 LLM 的等价性判断器评估模型重构能力。由此构建的 Mask-ProofBench 涵盖 292 个跨领域问题。实验表明，推理增强型模型表现显著优于标准模型，且该评估方法与专家标注的一致性高达 96.8%。
AI 推荐理由
论文核心在于评估和衡量 LLM 在数学证明中的逐步推理能力，构建了专门的基准测试。
研究机构
School of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China
Graduate College for Engineers, Beijing University of Posts and Telecommunications, Beijing, China
School of Mathematical Sciences, Fudan University, Shanghai, China
School of Cyberspace Security, Beijing University of Posts and Telecommunications, Beijing, China
School of Computer Science and Technology, Dalian University of Technology
Chu Kochen Honors College, Zhejiang University, Hangzhou, China
论文信息