Vernier：探究因果推理中词汇间隙背后的表征错位

指令微调语言模型在将因果推理问题中的英文变量名替换为类型保持的占位符后，即使结构因果模型和标准答案未变，其回答也会不同。本文探究这种词汇间隙是反映了信息丢失，还是源于仍携带答案相关内容的表征读取错位。Vernier 利用配对视图权重更新作为工具，分析间隙闭合后的机制。证据表明主要原因为表征错位：变量名探测在占位符视图中更准确，且激活修补显示决策令牌表征可在视图间传递答案身份。该方法通过反事实增强重对齐视图，成功程度受模型家族、规模及任务限制。