摘要
循环计算通过扩展测试时算力展现出提升大语言模型推理性能的潜力。然而，现有方法通常需从头训练循环模型或进行破坏性改造，成本高昂且可能损害预训练能力。为此，本文提出 LoopUS，一种后训练框架，可将标准预训练模型转化为循环架构。该方法将模型重构为编码器、循环推理块和解码器，并通过块分解、选择性门控、随机深度监督和置信度头等核心组件，在稳定潜在状态的同时显著提升推理性能，无需从头训练或延长生成轨迹。
AI 推荐理由
论文核心是通过循环潜空间细化架构提升 LLM 的推理性能，属于推理机制研究。
研究机构
Department of Data Science, Pusan National University, Busan, Republic of Korea
Department of Industrial Engineering, Pusan National University, Busan, Republic of Korea
Department of Artificial Intelligence
Department of Industrial Engineering
论文信息