当大语言模型不再遵循步骤：语言模型程序执行能力的诊断研究

大语言模型在推理基准测试中常表现优异，但最终答案准确率无法反映其是否忠实执行了提示中的程序。本研究通过一个受控的程序执行诊断基准探讨该问题，要求模型根据给定的分步算术算法和数值输入返回计算结果。基准虽使用简单算术，但通过增加算法长度和中间变量的回溯依赖来提升复杂度。实验涵盖 14 个模型和 55 个数据集，结果显示平均首答准确率从 5 步程序的 61% 降至 95 步程序的 20%。生成级分析表明，失败常涉及缺失答案、过早回答、错误后自我修正、执行轨迹不足及幻觉额外步骤。这些发现暗示，表面的推理能力可能掩盖了指令执行方面的重大缺陷。