摘要
针对具有特定有效性约束的领域（如程序编译），大型语言模型常以少量集中方式失败。本文观察到这些错误模式可用少量可学习的约束表示。作者提出“前缀过滤器”作为捕捉错误模式的符号函数，并设计 Palla 算法高效学习该过滤器。实验表明，该方法不仅能定量分析错误模式，还能通过约束采样显著提升代码编译率，使小模型性能媲美大模型。
AI 推荐理由
论文聚焦于识别和约束 LLM 在代码生成中的逻辑错误模式，通过前缀过滤器提升输出有效性，属于推理正确性研究。
研究机构
Department of Computer Science and Engineering, University of California-San Diego, La Jolla, CA 92037
论文信息