计数作为语言模型可靠性的最小探针

大型语言模型在数学推理等基准测试中表现优异，但其成功源于通用逻辑能力还是模式匹配尚不明确。本文提出“稳定计数容量”评估方法，通过让模型计数重复符号直至失败，排除知识与语义干扰，直接测量程序可靠性。实验涵盖百余种模型变体，结果显示其稳定计数能力远低于标称上下文限制。模型行为并非基于开放逻辑或稳定规则应用，而是依赖有限的内部状态；资源耗尽后，精确执行即退化为猜测。这表明当前的流畅性能并不能保证通用且可靠的规则遵循能力。