通过重新引入马尔可夫状态突破 LLM 后训练的能力上限

强化学习已成为大语言模型后训练的标准范式，但近期证据表明其面临持续的“能力上限”：与发现新策略的经典 RL 不同，LLM 的 RL 往往仅微调预训练权重中的潜在模式。本文指出根本瓶颈在于当前公式依赖不断扩展的动作历史，而非紧凑的马尔可夫状态。我们重新引入了显式马尔可夫状态这一经典原则，理论上证明了其能显著降低样本复杂度。实证表明，在复杂逻辑谜题中，引入该状态一致突破了标准 RL 后训练的性能边界，对解锁生成式 AI 的新推理能力至关重要。