摘要
推理时缩放已成为提升语言模型推理能力的主导手段,但现有方法仅依赖随机 token 级采样获取多样性。本文指出该单轴采样空间的局限性,并提出第二维度:在高不确定性 token 处递归重应用冻结模型的顶层解码器(层跨度 L)。通过熵门控潜在递归(EGLR),无需训练即可生成确定性多样 rollout。实验表明,L 轴与温度采样正交互补,显著扩展候选解空间,在 MATH-500 等基准上大幅提升推理准确率,为不依赖随机噪声的推理时缩放开辟新方向。
AI 推荐理由
论文提出新解码机制显著提升数学推理性能,核心聚焦推理能力扩展。
研究机构
Department of Machine Learning
论文信息