知识知晓，言语述说：解耦大语言模型中数学可解性的潜在方向

尽管大语言模型在数学推理方面进展显著，但判断问题是否可解仍是一项基础且极具挑战的能力。现有研究多关注内部表征或仅从行为角度分析言语表达，限制了对其深入分析与操控。本文通过分别探测可解性知识与言语表达的表征，成功在模型隐藏状态中将二者解耦。研究表明，知识与言语编码为 distinct 的线性可解码表征，虚构主要源于言语变化而非底层知识缺失。利用不可解提示词或通过激活引导操控这些表征，可显著减少模型虚构并提升其弃权能力。