摘要
多轮对话已成为大型语言模型(LLMs)的主要交互范式。用户通常通过后续问题来细化其意图,并期望LLMs能够动态适应。然而,最近的研究表明,与单轮交互相比,LLMs在多轮设置中的性能显著下降,这一现象被称为“对话中迷失”(LiC)。尽管先前的工作将LiC归因于模型不可靠性,但本文认为根本原因在于意图对齐的差距,而非模型本身的能力缺陷。本文首先证明LiC并非模型能力的失败,而是用户与LLMs之间交互的断裂。理论上表明,仅扩大模型规模或改进训练无法解决这一差距,因为其源于对话上下文的结构模糊性,而非表示限制。为了解决这一问题,我们提出通过中介者-助手架构将意图理解与任务执行解耦。利用基于历史交互模式的经验驱动的中介者,将用户输入解释为明确、结构良好的指令,从而有效弥合模糊用户意图与模型解释之间的差距。实验结果表明,该方法显著缓解了多种LLMs在多轮对话中的性能退化。
AI 推荐理由
论文探讨了多轮对话中意图不匹配导致LLM性能下降的问题,涉及记忆与上下文理解的关联。
论文信息