Transformer 在归纳推理任务中的不变学习动力学

本文提出一个理论框架，旨在解释 Transformer 语言模型中归纳推理能力的涌现。不同于以往局限于特定任务的研究，我们探讨了一类统一的广义归纳任务。理论上证明了注意力模型的训练动态可被约束在一个高可解释性的低维不变流形上。在此流形上，学习动态由少数可解释坐标刻画，从而简化了分析。利用该框架，我们表征了数据统计如何调控上下文学习与权重学习之间的竞争，研究了随机初始化如何在多解情况下决定“获胜”电路，并展示了如何利用相关坐标系自动检测已学电路。