当正确的演示反而有害：重新思考上下文中学习示例的作用

上下文学习（ICL）通常基于直觉，认为提供正确的输入输出示例有助于提升性能。然而，本文揭示了一个反直觉现象：示例的正确性并不能保证其效用，某些正确演示甚至会降低 ICL 准确率。为此，作者引入“任务保持扰动”框架，仅改变示例输入而保持其仍为同一任务的正确实例。研究发现，此类扰动会导致“上下文证据偏移”，从而分离示例正确性与效用。在情感分类、逻辑推理及数学应用题等任务中，扰动后的演示显著降低了模型表现，尤其在小型模型、高难度任务及高扰动比例下更为明显。结果表明，鲁棒的 ICL 需评估示例如何影响上下文推理，而不仅关注其正确性。