时空隐藏状态动态作为大型语言模型内部推理的特征

大型推理模型（LRMs）生成长解决方案，但其轨迹是否反映实质内部计算尚不明确。本文研究了解码步骤和层间的隐藏状态转移，发现 LRMs 中存在独特的时空模式：成功轨迹表现出广泛的时间动态和局部层集中性。作者将此形式化为“潜在转移时空幅度”（StALT），这是一种无需训练的轨迹统计量。实验表明，StALT 能有效区分推理密集型任务中的正确与错误轨迹，并提供无标签的正确性信号。干预分析进一步证实该幅度与内部推理需求系统性相关，为理解 LLM 内部计算提供了实证依据。