情境拖累：上下文中的错误如何影响大语言模型的推理

许多大型语言模型（LLMs）自我改进流程的核心假设是模型可以通过反思过去的错误来提升性能。本文研究了一种称为情境拖累的现象：上下文中失败尝试的存在会使后续生成偏向结构相似的错误。通过对11个专有和开源模型在8项推理任务上的评估发现，情境拖累会导致10%-20%的性能下降，并且在具有严重情境拖累的模型中，迭代自我优化可能退化为自我恶化。通过树编辑距离的结构分析表明，后续推理轨迹会继承上下文中的结构相似错误模式。研究表明，外部反馈或成功的自我验证无法完全消除这一现象。尽管回退行为微调和上下文去噪等缓解策略能带来部分改善，但无法完全恢复基线性能，表明情境拖累是当前推理架构中一种持续存在的失效模式。