预训练与后训练推理模型中数据质量与协同效应的理论视角

大型语言模型通常在海量数据上预训练，随后通过监督微调（SFT）或强化学习（RL）进行指令对齐。本文从理论角度分析了在上下文权重预测任务中训练的 Transformer 模型。研究发现：平衡的预训练数据能诱导潜在能力并在后训练中被激活；SFT 在少量对预训练模型具有挑战性的样本上表现最佳，过大数据集反而稀释信号；而 RL 则在大规模且难度适中的数据上最有效。这些理论洞察已在大型非线性 Transformer 架构的实验中得到验证。