基于置信度动态的大型推理模型早期停止方法

大型推理模型依赖长思维链解决复杂问题，但过度推理会增加计算成本甚至降低性能。本文研究推理过程中间答案的置信度，发现正确轨迹往往早期达到高置信度，而错误轨迹则冗长且置信度不可靠。据此提出 CoDE-Stop 方法，利用中间答案置信度动态决定何时终止推理，无需额外训练即可集成。实验表明，该方法在多个基准上实现了更优的准确率 - 计算权衡，相比标准全长度推理减少 25%-50% 的 token 消耗，并深入分析了推理中的置信度动态变化。