CALIBER：语言模型推理前后的置信度校准

推理语言模型不仅需回答难题，还需评估成功概率。现有方法仅在思考前或回答后单次 eliciting 置信度。本文提出置信度具有状态依赖性：思考前应估计解题成功率，思考后应预测答案正确性。据此，我们引入 CALIBER 框架，分别在两个阶段 eliciting 置信度，并采用匹配信息状态的监督目标。实验表明，CALIBER 在 BigMathDigits 上显著降低预期校准误差（ECE），同时在 Brier 分数和 AUROC 上表现最优，且准确率保持竞争力。在分布外数据上亦展现优异校准能力。