T^2MLR：具有时间中间层循环的 Transformer

Transformer 的推理能力受限于自回归解码，导致丰富的隐藏计算被重复压缩，难以在时间维度上保持中间推理状态。本文提出具有时间中间层循环的 Transformer（T2MLR），这是一种基于 Transformer 的潜在推理架构，通过将前一 token 的缓存中间层表示直接融合到当前 token 位置的较早层中，使抽象的中间计算能以极低的推理开销跨越解码步骤持续存在。实验表明，T2MLR 在自然语言预训练和多跳推理微调中均优于数据和参数量匹配的基线模型。此外，仅对局部中间层块应用循环即可超越全层循环效果。重要的是，T2MLR 无需从头预训练，将循环路径嵌入现有预训练模型并微调即可显著提升数学推理能力。