LLM Transformer Multi-token Prediction Reasoning
摘要

循环Transformer作为参数高效替代方案,通过复用单层堆栈实现大模型的有效深度与推理能力。然而,现有方法因缺乏跨循环指导而面临潜在过度思考及计算同质化问题。本文提出LoopMTP,利用潜在空间的结构对应关系连接两者:循环T次的模型可预见T个未来Token。该方法通过将第t次循环的隐藏状态与t步后的Token嵌入进行软对齐,并辅以轻量级门控机制保留关键信息。实验表明,LoopMTP在保持训练稳定(最多15次循环)的同时,平均准确率较非循环基线提升高达8.1%。

AI 推荐理由

论文旨在通过Looped Transformer增强模型的推理能力,利用多token预测优化中间表示以提升准确率。

研究机构
Lamarr Institute University of Bonn Fraunhofer IAIS
论文信息
作者 Behzad Shomali, Markus Frey, David Berghaus, Joachim Koehler, Mehdi Ali
发布日期 2026-08-04
arXiv ID 2608.03624
相关性评分 9/10 (高度相关)