程序预训练：用抽象数据预热语言模型

本文提出一种替代大规模网页语料预训练的范式，即先让模型接触由形式语言生成的抽象程序数据，以模拟人类先学习逻辑再掌握高阶知识的过程。研究发现，仅需 0.1% 的程序数据即可显著提升模型在上下文回忆等算法任务上的表现，并加速预训练收敛。机制分析表明，该方法在注意力层和 MLP 层注入了结构化特征，有效解耦了知识获取与推理能力的学习，为提升大模型推理性能提供了轻量级方案。