摘要
思维链推理模型呈现双模态收敛特征:生成要么在 Token 预算内终止(收敛),要么耗尽预算无结论(非收敛)。实证显示收敛生成准确率高达 90.3%,而非收敛仅 6.6%。研究通过训练线性探针分析中间层隐藏状态,发现早在第 150 个 Token 处,第 20 层的激活值即可显著预测收敛命运(AUC 0.608),优于基于熵和行为统计的基线。这表明收敛性部分编码于早期中间表示中,为早期退出推理和自适应计算分配提供了新路径。
AI 推荐理由
论文核心研究思维链推理中的收敛机制及早期检测,直接针对推理过程的可解释性与优化。
研究机构
Computer, Mathematical, and Natural Sciences, University of Maryland College Park, MD, USA
University of Maryland SAP Labs, LLC College Park, MD, USA
论文信息