上下文拖拽：上下文中的错误如何影响大语言模型的推理

本文研究了“上下文拖拽”现象，即上下文中存在的失败尝试会诱导后续生成产生结构相似的错误。通过对 11 个模型在 8 项推理任务上的评估，发现该现象导致性能下降 10-20%，严重时可致自我优化退化为自我恶化。结构分析表明，后续推理轨迹继承了上下文中的错误模式。研究显示，外部反馈或自我验证均无法完全消除此效应，现有缓解策略仅能部分改善，表明这是当前推理架构中持久的失效模式。