摘要
干预性数据常被视为教授模型因果推理的金标准,但本研究在受控合成环境中发现该假设存在局限。在辛普森悖论情境下,增加预训练中的干预样本比例并未改善因果方向判断,模型虽增强了do()-响应幅度,却复制了观察上下文的符号。研究表明,是否使用干预证据取决于推理时的上下文证据类型而非训练混合比例。消除观察证据可释放被抑制的因果插值能力。实验证实该能力存在于权重中,而开关由上下文控制,并定位至中间层的观察行。
AI 推荐理由
论文深入探讨LLM的因果推理能力,分析干预数据与观察数据对模型逻辑判断的影响机制。
研究机构
Tsingjiao Information Science (Beijing) Co., Ltd.
论文信息