利用迭代反馈循环解锁大语言模型的代码修正能力

大语言模型在代码生成方面表现卓越，但现有评估多关注单次尝试准确率，忽视了真实编程中核心的迭代优化过程。本研究系统调查了 LLM 通过执行反馈自我修正代码的能力，涵盖四种模型、两种主流语言及真实编程问题。研究构建了接收编译器错误与测试用例反馈的迭代优化框架，引入新指标评估代码失败模式与修正效果，并对比推理与非推理模型的差异。结果表明，推理模型能显著利用反馈实现迭代提升，且语法与运行时错误比逻辑错误更易修正。