inference-time scaling math reasoning decoding strategy deterministic sampling
摘要

推理时缩放已成为提升语言模型推理能力的主导手段,但现有方法仅依赖随机 token 级采样获取多样性。本文指出该单轴采样空间的局限性,并提出第二维度:在高不确定性 token 处递归重应用冻结模型的顶层解码器(层跨度 L)。通过熵门控潜在递归(EGLR),无需训练即可生成确定性多样 rollout。实验表明,L 轴与温度采样正交互补,显著扩展候选解空间,在 MATH-500 等基准上大幅提升推理准确率,为不依赖随机噪声的推理时缩放开辟新方向。

AI 推荐理由

论文提出新解码机制显著提升数学推理性能,核心聚焦推理能力扩展。

研究机构
Department of Machine Learning
论文信息
作者 Soham Bhattacharjee, Dushyant Singh Chauhan, Salem Lahlou, Martin Takac, Nils Lukas
发布日期 2026-06-15
arXiv ID 2606.16620
相关性评分 9/10 (高度相关)