涌现的结构化表示支持大型语言模型的灵活上下文推理

大型语言模型（LLMs）表现出类似人类推理的涌现行为。尽管近期研究已识别出这些模型中存在结构化的、类似人类的概念表示，但尚不清楚它们是否在推理过程中功能上依赖于这些表示。本文研究了LLMs在上下文概念推理过程中的内部处理机制。结果表明，在中间到后期层中出现了一个概念子空间，其表示结构在不同上下文中保持稳定。通过因果中介分析，我们证明该子空间不仅是伴随现象，而且是模型预测的核心功能部分，确立了其在推理中的因果作用。此外，我们发现注意力头在早期至中期层中整合上下文线索以构建和优化该子空间，随后由后期层利用该子空间生成预测。这些发现表明，LLMs能够动态构建并使用结构化的潜在表示来进行上下文推理，为理解其灵活适应的计算过程提供了见解。