概率思维程序

大型语言模型常用于代码生成与数学推理等需结构化输出的任务。传统方法通过多次采样获取有效程序，但计算成本高昂。本文提出“概率思维程序”框架，利用模型生成的下一个令牌概率构建概率程序，紧凑表示指数级数量的确定性程序。该方法无需额外 GPU 计算即可高效采样新程序，仅在 CPU 上产生少量开销。在代码生成、理解及数学推理基准测试中，该方法以更少的生成次数实现了性能提升。