Chain-of-Thought Early Exit Mechanistic Interpretability Convergence Analysis
摘要

思维链推理模型呈现双模态收敛特征:生成要么在 Token 预算内终止(收敛),要么耗尽预算无结论(非收敛)。实证显示收敛生成准确率高达 90.3%,而非收敛仅 6.6%。研究通过训练线性探针分析中间层隐藏状态,发现早在第 150 个 Token 处,第 20 层的激活值即可显著预测收敛命运(AUC 0.608),优于基于熵和行为统计的基线。这表明收敛性部分编码于早期中间表示中,为早期退出推理和自适应计算分配提供了新路径。

AI 推荐理由

论文核心研究思维链推理中的收敛机制及早期检测,直接针对推理过程的可解释性与优化。

研究机构
Computer, Mathematical, and Natural Sciences, University of Maryland College Park, MD, USA University of Maryland SAP Labs, LLC College Park, MD, USA
论文信息
作者 Renuka Oladri, Niveda Jawahar, Abdirisak Mohamed
发布日期 2026-07-23
arXiv ID 2607.21433
相关性评分 9/10 (高度相关)