具有（ summarized）思维链的低精度 Softmax Transformer 的表达力

现有 Transformer 表达性结果多依赖硬最大注意力或高精度，与实际模型脱节。本文通过分析标准 Softmax 解码器及激活值舍入，证明在对数级深度和宽度下可模拟图灵机。研究构建了利用思维链（CoT）的三元激活硬最大 Transformer，并转化为等效软最大模型。此外，分析了摘要式 CoT 范式，显示其在空间界限下能更高效地模拟图灵机。Sudoku 任务实验表明，该理论比先前高精度结果更符合可学习性预测。