LLM 预测者所知却未言：探测内部表征以实现校准与忠实性

本文针对微调后的预测大语言模型存在校准差及思维链（CoT）推理不忠实的问题，探究内部表征是否提供更直接的视角。通过在中间激活层训练表征池化探针，发现其能显著改善校准效果。研究利用证据消融和干扰注入评估 CoT 忠实性，结果表明探针能比推理轨迹更准确地检测行为变化及方向。此外，强制回答实验揭示预测在推理开始前已基本确定，基于此的预计算策略可节省大量生成 token 且不损失精度。该研究确立了探测内部表征作为校准、审计和分流语言模型预测器及推理模型的实用工具。