后训练改变置信度：SFT、RL 和 OPD 如何塑造 CoT 前、中、后校准的三阶段分析

大型语言模型虽通过监督微调、强化学习和同策略蒸馏提升了推理能力，但现有评估多局限于最终答案准确率。本文提出三阶段校准框架，评估思维链生成前、中、后的置信度变化，分别对应难度估计、早期终止和答案聚合。研究发现不同方法在各阶段表现各异：OPD 提供最佳的预推理置信度，SFT 具备最强的在线停止信号，而 RL 产生最可靠的轨迹级聚合信号。基于置信度的位置依赖性，作者提出位置感知置信度策略 PosConf，显著提升了答案聚合质量及受限预算下的早期停止效果。