抽象表征几何支持大型语言模型中的推理

人类智能的关键在于从稀疏观测中推断潜在任务结构以适应环境，这依赖于海马体构建的抽象表征。本文探究大型语言模型（LLM）是否具备类似机制。研究发现，当 LLM 进行可泛化的推理时，其内部状态呈现出与海马体相似的抽象几何结构。这种表征几何在模型深度上呈层级分布：高层形成富含抽象上下文几何的功能带。干预实验进一步证实，几何解缠与正则化能显著促进通用推理能力的涌现，确立了抽象表征几何作为 LLM 推理的机械原理。