Transformer 中的自适应循环与记忆：更努力思考还是知晓更多？

思维链提示虽能赋予语言模型推理能力，但需显式表达中间步骤。循环 Transformer 通过在隐藏状态内迭代优化表示提供了替代方案，却受限于存储容量。本文研究了兼具自适应逐层循环（通过 learned halting 机制）和门控记忆库的 Transformer 模型。研究发现，循环机制主要提升数学推理性能，而记忆库有助于恢复常识任务表现。结合两者可使模型在参数量与计算量匹配的情况下，超越层数多三倍的基线模型。内部分析显示早期层较少使用循环与记忆，后期层则重度依赖。