智慧的形态：语言模型中的决策轨迹

本文通过对 Qwen2.5、Llama-3.1 和 Mistral 等模型在 MMLU 上的 9000 条轨迹研究，发现答案得分随网络深度呈结构化变化。研究定义了三类量化指标描述轨迹，指出“不稳定但正确”是主要类别而非“稳定正确”。进一步分析表明，在稳定正确的案例中，注意力标量指向正确方向，而 MLP 标量则不然；删除支持性文本会降低置信度，删除干扰性文本则提升置信度。该研究提供了一种可复现的方法，用于识别答案的确定性、脆弱性及其驱动来源。