第一滴墨水：误导信息在长上下文推理中的非线性影响

随着大语言模型在检索增强生成及智能体系统中广泛应用，理解干扰信息如何影响长上下文性能至关重要。本文系统性地改变固定长度上下文中硬干扰项的比例，发现了一种显著的非线性模式：随着干扰项比例增加，性能在初始小 fraction 内急剧下降，随后降幅趋缓。我们将此称为“第一滴墨水”效应。基于注意力机制的理论与实证分析表明，少量硬干扰项即可捕获不成比例的注意力。实验进一步显示，过滤收益主要源于上下文长度缩减而非干扰项移除，强调上游检索精度的重要性。