Chain-of-Thought Mechanism Analysis Local Co-occurrence Lexical Activation
摘要

思维链提示虽能提升语言模型准确率,但其背后的驱动因素尚不明确。本文聚焦于探测阶段,探究固定理由文本中何种特征改变了答案。研究发现,即使打乱全局词序的理由文本仍显著优于无理由基线,表明存在强烈的词汇激活效应。更重要的是,结构化文本带来的额外增益主要源于短距离令牌邻接性,而非句子级的逻辑排序。仅保留 2-3 个令牌的连续窗口即可恢复大部分性能增益。实验排除了显式答案复制或完整语法实现作为主要驱动因素。结果支持局部共现激活假说,即观测到的增益主要源于词汇激活和短程令牌共现,而非句子级逻辑推导。

AI 推荐理由

论文深入探究思维链(CoT)生效的底层机制,直接关联推理能力的核心原理。

研究机构
华中科技大学
论文信息
作者 Xiang Wang, Wei Wei
发布日期 2026-05-26
arXiv ID 2605.26795
相关性评分 9/10 (高度相关)