Llama-3 中的后路由算术：末位 Token 结果写入与旋转结构化的数字方向

本文研究了 Meta-Llama-3-8B 基座模型在单 Token 输出设定下的三位数加法任务，旨在刻画跨 Token 路由因果无关后算术答案的生成机制。通过因果残差修补和累积注意力消融实验，定位到第 17 层附近的sharp边界：此后解码和几乎完全由最后一个输入 Token 控制，晚期自注意力 largely 可省略。在此后路由机制下，数字方向字典随高位上下文变化，但在共享低秩子空间内通过近似正交映射紧密关联。因果数字编辑验证了该几何特性：朴素跨上下文迁移失败，而通过学习映射旋转方向可恢复严格的反事实编辑。