摘要
本文提出F-ICL基准,旨在测试大语言模型是否具备真正的算法推理能力而非仅模式匹配。该基准基于图灵完备机器F生成15亿个程序,并计算在有限通用先验下的闭式贝叶斯最优后验分布。通过对37种开源模型及前沿系统的评估发现,尽管准确率高达92%,但多数模型的输出分布与贝叶斯最优解存在显著差距,且其行为受低阶前缀统计量主导。此外,更新过程呈现非单调性,且这种差距随规模扩大或指令微调反而加剧。本研究揭示了当前LLM在严格算法推理上的局限性。
AI 推荐理由
论文直接评估LLM的算法推理能力,通过贝叶斯最优标准衡量其归纳推理表现,属于推理能力的核心研究。
研究机构
Oxford Immune Algorithmics, Oxford University Innovation & London Institute for Healthcare Engineering, U.K
Department of Biomedical Computing, School of Biomedical Engineering and Imaging Sciences & King's Institute for AI, King's College London, U.K
论文信息