摘要
本研究利用 MathArena 基准测试,分析了前沿 AI 系统在 Project Euler 计算数学问题上的努力程度与成功概率如何随人类解题难度缩放。研究验证了机器生成成本与人类耗时之间的幂律关系,发现多数模型并未如预测般随难度增加而表现更差。此外,研究通过指数衰减模型拟合成功概率,并提取了 50% 成功率的任务时长 horizon,量化了当前最先进模型的推理能力边界及其增长趋势。
AI 推荐理由
论文核心研究 AI 在数学问题上的推理能力随难度变化的缩放规律,直接评估推理性能。
论文信息