摘要
现有编程基准的高通过率未必反映模型真正的算法推理能力,因数据泄露可能导致虚假提升。本文提出 AlgoBench 框架,通过结构化约束变换自动生成新算法问题,迫使原有参考算法失效。除通过率外,引入复杂度感知指标(如 OPTT、TRAPRATE 等)评估解的渐近适宜性。实验表明,多模型在该基准上性能显著下降,检索机制易导致旧算法复用,且许多看似正确的解未达复杂度要求。错误分析显示失败主因在于算法层面而非实现细节,证明该基准有效评估了超越功能正确性的算法适应能力。
AI 推荐理由
论文核心评估 LLM 的算法推理与自适应能力,而非单纯代码生成。
研究机构
Emory University, Atlanta, GA, USA
The University of Tokyo, Tokyo, Japan
LocationMind, Tokyo, Japan
论文信息