大语言模型早决策晚解释

大语言模型常通过生成长中间思维链取得优异性能，但最终答案何时确定尚不明确。若答案在中间阶段已固定，后续推理可能仅为事后解释，增加成本却未提升准确率。本研究利用强制答案完成技术分析推理步骤中预测答案的演变，发现仅 32% 的查询发生答案变更，且最终答案确定后平均仍生成 760 个冗余令牌。据此，我们提出基于启发式的早期停止策略，在准确率仅下降 2% 的情况下，每查询减少 500 个推理令牌，表明大量思维链生成是冗余的。