需要多少次尝试？跨模型规模与基准的 LLM 代码生成迭代自修复研究

本研究探讨了在大语言模型代码生成中，通过反馈执行错误进行迭代自修复的效果。实验涵盖七种不同规模和架构的模型，在 HumanEval 和 MBPP 基准上验证了自修复能显著提升通过率，增益主要集中在前两轮。研究发现现代指令微调模型仅需提示即可实现自修复，且思维链提示能进一步增加增益。此外，论文对比了稠密与混合专家架构在自修复中的表现，并分析了断言错误最难修复的现象，揭示了当前模型自我修正能力的边界。