摘要
测试时计算扩展是大推理模型性能提升的关键驱动力,但现有方法存在效率瓶颈。本文提出Gambit算法,将推理视为部分轨迹上的受限计算分配问题。通过执行思维级束搜索,该算法利用轻量级评分器探测隐藏状态,动态地将计算资源集中于最有希望的推理轨迹,同时保持高硬件利用率。实验表明,在相同硬件约束下,该方法显著提升了准确率、吞吐量并降低了Token消耗。
AI 推荐理由
论文直接针对大推理模型(LRMs)的测试时计算分配与推理轨迹优化,属于推理能力优化的核心研究。
研究机构
Princeton University
MIT CSAIL
Meta AI
论文信息