Test-Time Scaling Sampling Efficiency Reasoning Benchmarks Quasi-Monte Carlo
摘要

扩展推理计算是提升语言模型能力的有效但昂贵手段。默认并行尝试相互独立,导致计算冗余。本文提出 QuasiMoTTo,利用准蒙特卡洛(QMC)方法生成相关但边缘分布准确的样本,替代独立同分布采样。该方法更均匀地覆盖输出空间,减少冗余。实验表明,在四个推理基准上,QuasiMoTTo 以少 25-47% 的样本量达到同等准确率;在策略梯度强化学习中,亦能减少 50% 训练步骤,显著提升了将计算转化为性能的效率。

AI 推荐理由

论文核心在于通过优化推理时的采样策略,显著提升模型在推理基准测试中的表现和效率。

研究机构
斯坦福大学
论文信息
作者 Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox
发布日期 2026-07-01
arXiv ID 2607.01179
相关性评分 9/10 (高度相关)