Chain-of-Thought Efficiency Entropy Dynamic Truncation
摘要

大型推理模型(LRMs)虽擅长复杂推理任务,但其依赖冗长的中间步骤导致计算成本高昂。本文发现,早期推理步骤中模型输出分布的熵能可靠区分正确与错误的推理路径。据此,我们提出 EntroCut,这是一种无需训练的方法,通过识别高置信度状态动态截断推理过程,从而安全终止生成。为全面评估效率与准确性的权衡,我们引入了效率 - 性能比(EPR)这一统一指标。在四个基准测试上的实验表明,EntroCut 在几乎不牺牲准确性的前提下,将令牌使用量减少了高达 40%,实现了优于现有无训练方法的效率 - 性能平衡。

AI 推荐理由

论文核心研究基于熵引导的动态截断机制,旨在优化思维链推理效率,直接针对推理过程。

研究机构
北京大学,计算机科学与工程学院,中国 之江实验室,中国
论文信息
作者 Hongxi Yan, Qingjie Liu, Yunhong Wang
发布日期 2026-01-30
arXiv ID 2601.22617
相关性评分 9/10 (高度相关)