算法推理 代码生成 基准测试 LLM 评估
摘要

现有编程基准的高通过率未必反映模型真正的算法推理能力,因数据泄露可能导致虚假提升。本文提出 AlgoBench 框架,通过结构化约束变换自动生成新算法问题,迫使原有参考算法失效。除通过率外,引入复杂度感知指标(如 OPTT、TRAPRATE 等)评估解的渐近适宜性。实验表明,多模型在该基准上性能显著下降,检索机制易导致旧算法复用,且许多看似正确的解未达复杂度要求。错误分析显示失败主因在于算法层面而非实现细节,证明该基准有效评估了超越功能正确性的算法适应能力。

AI 推荐理由

论文核心评估 LLM 的算法推理与自适应能力,而非单纯代码生成。

研究机构
Emory University, Atlanta, GA, USA The University of Tokyo, Tokyo, Japan LocationMind, Tokyo, Japan
论文信息
作者 Xinyuan Song, Zekun Cai, Liang Zhao
发布日期 2026-06-30
arXiv ID 2607.00062
相关性评分 9/10 (高度相关)