理解上下文学习中演示冲突的动态机制

上下文学习使大模型能通过少样本演示执行新任务，但演示中的噪声与冲突会削弱该能力。本文研究需推断潜在模式的规则推理任务，发现单个错误演示即导致性能显著下降。通过线性探测与 Logit Lens 分析，揭示模型在中间层同时编码正确与错误规则，仅在晚期形成预测置信度的两阶段计算结构。研究进一步定位了导致推理失败的关键注意力头：早中期层的“脆弱头”对污染高度敏感，晚期层的“易感头”则大幅降低对正确预测的支持。针对性消融实验表明，屏蔽少量关键头可提升性能超 10%。