摘要
思维链提示虽能提升语言模型准确率,但其背后的驱动因素尚不明确。本文聚焦于探测阶段,探究固定理由文本中何种特征改变了答案。研究发现,即使打乱全局词序的理由文本仍显著优于无理由基线,表明存在强烈的词汇激活效应。更重要的是,结构化文本带来的额外增益主要源于短距离令牌邻接性,而非句子级的逻辑排序。仅保留 2-3 个令牌的连续窗口即可恢复大部分性能增益。实验排除了显式答案复制或完整语法实现作为主要驱动因素。结果支持局部共现激活假说,即观测到的增益主要源于词汇激活和短程令牌共现,而非句子级逻辑推导。
AI 推荐理由
论文深入探究思维链(CoT)生效的底层机制,直接关联推理能力的核心原理。
研究机构
华中科技大学
论文信息