揭示非结构化知识编辑中的上下文依赖问题

利用现实世界非结构化知识编辑大语言模型对于修正和更新其内部参数知识至关重要。本文重新审视了作为非结构化编辑候选范式的下一个词预测（NTP），识别出“上下文依赖”是 NTP 方法的关键失效模式，即从编辑文本获取的知识高度依赖于其前缀上下文，导致推理时缺失该上下文则召回失败。理论证明这是梯度优化的固有后果。为此，我们提出了简单有效的上下文无关编辑框架（COIN），鼓励模型关注局部范围内的知识而非记忆上下文模式。评估显示，COIN 将上下文依赖降低了 45.2%，编辑成功率优于强基线 23.6%。