推理模型中的流体表示

推理语言模型在抽象问题上显著优于非推理语言模型，但其内部机制尚不明确。本文对专门训练以生成详细推理过程的QwQ-32B模型进行了机制分析，研究其如何处理抽象结构信息。在Mystery Blocksworld这一语义混淆的规划领域中，发现QwQ-32B在推理过程中逐步改进其动作和概念的内部表示，并发展出聚焦于结构而非具体动作名称的抽象编码。通过引导实验，证明这些适应性改进提升了问题解决能力：从成功推理轨迹中注入优化后的表示可提高准确性，而符号表示也能在性能损失最小的情况下替代许多混淆编码。研究发现，推理模型性能的一个关键驱动因素是上下文中的标记表示优化，即所谓的流体推理表示。