test-time scaling inference efficiency evaluation framework reproducibility
摘要

尽管大型语言模型可通过增加推理时计算解决更复杂的推理问题,但“测试时扩展”涵盖多种算法,其统计结构和失败模式各异。本文系统性地从三个维度对测试时扩展进行梳理:首先,将其形式化为自回归模型隐式前缀树上的预算化推理,区分三种结构范式;其次,提出将推理系统作为整体进行评估的原则,分离端到端性能与候选库诊断,并引入评估配置文件以标准化报告;最后,明确推理协议的可复现性要求,区分精确回放与分布可复现性。研究还整理了开源推理生态,并在多个基准上应用了这些原则,发布了超过20亿条完整的推理轨迹数据。

AI 推荐理由

论文核心探讨推理LLM的测试时扩展(Test-Time Scaling),直接关联推理能力的提升机制与评估体系。

研究机构
Case Western Reserve University
论文信息
作者 Mohsen Hariri, Weicong Chen, Nahal Shahini, Vikash Singh, Kai Ye et al.
发布日期 2026-08-04
arXiv ID 2608.04001
相关性评分 9/10 (高度相关)