Transformer架构改进 推理增强 潜在反馈 大语言模型
摘要

自回归Transformer在水平方向(生成的token)和垂直方向(模型深度)上进行计算。传统密集注意力机制赋予每个token对过去信息的广泛水平访问权限,但解码步骤间的垂直反馈通道却十分狭窄:仅采样的token返回堆栈底部,而顶层隐藏状态被丢弃。本文提出“全带宽Transformer”,通过“潜在反馈”拓宽此通道:在每个解码步骤中,利用门控线性单元将前一时刻的顶层隐藏状态与采样token嵌入融合,并作为下一输入反馈。该方法使未言语化的计算以新的深度预算重新进入堆栈,同时保持标准Transformer架构、KV缓存及语言建模目标。实验表明,该机制显著提升了验证损失、5-shot语言模型评估、数学与代码生成及指令微调性能,且解码开销可忽略不计。

AI 推荐理由

论文通过引入潜在反馈机制增强模型内部状态,直接提升了数学和代码生成的推理能力,并生成更短的推理轨迹。

研究机构
Johns Hopkins University Princeton University Microsoft
论文信息
作者 Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan et al.
发布日期 2026-08-09
arXiv ID 2608.08888
相关性评分 9/10 (高度相关)