Benchmark Theorem Proving Logical Reasoning Evaluation
摘要

本文介绍了TCS-Bench,这是一个用于评估大语言模型(LLMs)在研究级理论计算机科学(TCS)证明生成方面能力的基准测试。TCS-Bench包含来自顶级TCS会议(STOC、FOCS和SODA)发表的论文中的定理证明任务。每个任务提供了推导目标结果自包含证明所需的必要上下文。我们在该基准上评估了最先进的模型,并通过验证代理验证生成证明的正确性,同时在目标陈述和生成证明对集合上进一步对验证器与人类专家证明判断进行基准测试。我们的参考验证器在专家标注集上的准确率超过90%。

AI 推荐理由

论文聚焦于LLM在理论计算机科学证明生成中的逻辑推理能力,属于核心研究范畴。

研究机构
ETH Zurich Institute for Advanced Study TU Delft University of Amsterdam TU Berlin Tsinghua University Tel Aviv University Microsoft Research Google Research
论文信息
作者 Vincent Cohen-Addad, Dimitris Paparas, Ernest van Wijland, Max Springer, Julien Canitrot-Paradis et al.
发布日期 2026-08-10
arXiv ID 2608.09538
相关性评分 9/10 (高度相关)