为何语义熵失效：面向策略优化的几何感知与校准不确定性

后训练已成为提升大语言模型推理与对齐能力的关键，但无批评者模型缺乏区分信息信号与噪声的机制。现有方法利用响应级不确定性调节群体优化，但其效果不稳定且机理不明。本文首次从原理上阐释不确定性信号如何表征和调节梯度方差。针对现有熵估计器的各向异性与校准缺陷，提出几何感知校准策略优化（GCPO），融合几何度量捕捉语义分歧，并利用奖励校准使不确定性与学习信号强度对齐。实验表明该方法能更准确追踪梯度变化，显著提升后训练性能。