可解释性 内在机制 神经符号主义
摘要

本研究旨在验证潜在推理模型中报告的“组合性点火”现象是否为真实计算过程,抑或是仪器伪影或源自语言训练数据。作者从零开始复现了一个30M参数的循环深度推理器,并通过预注册的完整签名门控确保保真度,同时监测词汇表读出和隐藏状态两个通道的分辨率。实验结果表明,“点火”确实存在且位于读出端:到达时间随问题深度规律上升,分辨率清晰且稳定,并在具有不同训练轨迹但相同种子的两次复现中重现了特征。在承诺时刻,决策边际在一次迭代中跳跃5.8-8.0 logits,显著高于非事件步骤的第90百分位数。尽管隐藏状态方向发生几何突变,但其后续位移主要为径向且对读出无影响。早期关于速度谷值的声明因坐标依赖性被撤回。

AI 推荐理由

论文深入探究LLM内部推理机制(如“组合性点火”现象),属于推理能力的底层机理研究。

研究机构
Prime Calibre, Australia
论文信息
作者 Simon Lam-Muir
发布日期 2026-08-04
arXiv ID 2608.03263
相关性评分 9/10 (高度相关)