摘要
本文介绍了TCS-Bench,这是一个用于评估大语言模型(LLMs)在研究级理论计算机科学(TCS)证明生成方面能力的基准测试。TCS-Bench包含来自顶级TCS会议(STOC、FOCS和SODA)发表的论文中的定理证明任务。每个任务提供了推导目标结果自包含证明所需的必要上下文。我们在该基准上评估了最先进的模型,并通过验证代理验证生成证明的正确性,同时在目标陈述和生成证明对集合上进一步对验证器与人类专家证明判断进行基准测试。我们的参考验证器在专家标注集上的准确率超过90%。
AI 推荐理由
论文聚焦于LLM在理论计算机科学证明生成中的逻辑推理能力,属于核心研究范畴。
研究机构
ETH Zurich
Institute for Advanced Study
TU Delft
University of Amsterdam
TU Berlin
Tsinghua University
Tel Aviv University
Microsoft Research
Google Research
论文信息