定位语言模型中的锚定路径

提示词中的无关数字会偏移语言模型的判断，导致数值推理中出现锚定效应。本研究利用共享选项的受控多项选择设置，探讨该锚定敏感信号在模型内部的承载位置。我们定义了对数几率差指标以追踪行为锚定，并验证其有效性。通过对 Qwen 和 Llama 系列模型进行基于归因的电路定位，发现边级方法比节点级方法更能忠实还原该信号。研究表明低/高锚定电路在模型内具有强迁移性，暗示路径结构共享；但在基座与指令微调变体间迁移稀疏，表明后训练改变了关键路径。结果提供了锚定相关决策信号在模型内部运作机制的解释。