摘要
测试时扩展虽能提升大语言模型推理性能,但常导致令牌低效的过度思考。现有动态早退方法依赖单步置信信号,难以可靠检测多步推理收敛。为此,本文提出 TRACE,一种无需训练的框架,通过聚合多步证据而非瞬时信号来决定终止时机。TRACE 结合答案一致性与置信轨迹两种互补信号,准确判断推理收敛,及时停止推断以避免冗余。实验表明,该方法在保持精度的同时显著减少令牌消耗。
AI 推荐理由
论文核心研究测试时推理优化,通过时序聚合提升推理效率与收敛判断。
研究机构
北京航空航天大学计算机学院
北京邮电大学网络空间安全学院
论文信息