摘要
循环Transformer作为参数高效替代方案,通过复用单层堆栈实现大模型的有效深度与推理能力。然而,现有方法因缺乏跨循环指导而面临潜在过度思考及计算同质化问题。本文提出LoopMTP,利用潜在空间的结构对应关系连接两者:循环T次的模型可预见T个未来Token。该方法通过将第t次循环的隐藏状态与t步后的Token嵌入进行软对齐,并辅以轻量级门控机制保留关键信息。实验表明,LoopMTP在保持训练稳定(最多15次循环)的同时,平均准确率较非循环基线提升高达8.1%。
AI 推荐理由
论文旨在通过Looped Transformer增强模型的推理能力,利用多token预测优化中间表示以提升准确率。
研究机构
Lamarr Institute
University of Bonn
Fraunhofer IAIS
论文信息