重复令牌计数揭示了表征与输出之间的解离

大型语言模型在广泛推理基准上表现优异，却在重复令牌计数任务中频频失败。通常认为这是内部计数跟踪能力的局限，但本文证明该归因错误。研究发现，残差流中的线性探针能在所有层级以近乎完美的准确率解码正确计数，即便在模型输出错误答案的层级亦然。注意力模式未显示崩溃，分词伪影也非主因。实际上，特定格式触发的多层感知机模块在网络深处用固定错误答案覆盖了正确编码的计数。计数失败实为路由而非表征失败，两者需不同干预策略。