LLM Efficiency Reasoning Evaluation Token Limit
摘要

大型语言模型通常在回答前进行长篇幅推理,导致成本增加和延迟。本研究通过配对运行实验,评估了在GPQA Diamond和MMLU-Pro数据集上,不同推理时长限制下的表现。研究发现,虽然简洁提示能缩短推理轨迹且准确率变化不大,但在低token限制下,早期停止或低努力设置往往能获得更高准确率。然而,过早停止并不总是提升概率质量。研究建议评估时应分别报告截止前的正确完成数、停止时的答案及对应概率。

AI 推荐理由

论文直接评估LLM推理过程中的长度、效率与准确性关系,属于推理能力优化的核心研究。

研究机构
Data Analytics Lab, Vrije Universiteit Brussel, Pleinlaan 5, 1050 Brussels, Belgium imec-SMIT, Vrije Universiteit Brussel, Pleinlaan 9, 1050 Brussels, Belgium School of Engineering and Applied Sciences, Harvard University, Cambridge, Massachusetts 02138, USA
论文信息
作者 Francesca Carlon, Vincent Ginis, Andres Algaba
发布日期 2026-08-04
arXiv ID 2608.03401
相关性评分 9/10 (高度相关)