将 Transformer 训练为通用计算机

本文证明小型 Transformer 能够学习在 MicroPy（一种简化但计算通用的编程语言）中执行程序。利用 PENCIL 支架，模型能在有限上下文窗口内高效预测小步执行过程。经随机生成的无意义程序训练后，该模型能泛化至多种人类编写的程序，包括位复制翻转、二进制加减乘及 SAT 验证求解。研究表明，训练后的模型具备分布外泛化能力，能评估未见过的新型程序。鉴于 MicroPy 可表达任意计算，结果提供了实证证据：标准 Transformer 可被训练为通用计算机。