摘要
基于大语言模型的代码生成通常被表述为严格的单调过程,即向不可变的前缀线性追加令牌。这与编程中向前生成与即时修订交织的认知过程形成对比。现有工作试图通过后处理代理或外部静态工具引入修订机制,但往往面临高延迟或无法利用模型内在语义推理的缺陷。本文提出“修订流”范式,通过引入特定动作令牌,使模型能在单次前向传播中无缝回溯并编辑自身历史,将修订循环内部化。该方法激活了模型的潜在自修正能力,无需外部依赖。在安全代码生成任务上的实证结果表明,该框架显著减少了代码漏洞,且推理开销极小。
AI 推荐理由
提出自修正生成范式,实现模型在解码过程中的自我反思与即时改进,属自我进化核心。
研究机构
新加坡南洋理工大学计算机与信息学院
华中科技大学计算机科学与技术学院
莫纳什大学,澳大利亚墨尔本
新加坡国立大学
论文信息