摘要
随着大型语言模型(LLMs)在长对话场景中的应用日益增多,频繁的主题切换对对话历史的有效管理提出了挑战。尽管当前LLMs支持扩展的上下文窗口,但在实际应用中仍需应对推理成本和延迟限制。本文提出DYCP,一种轻量级的上下文管理方法,该方法在LLM外部实现,能够根据当前对话轮次动态识别并检索相关对话片段,无需离线构建记忆。DYCP在保持对话顺序性的同时,不依赖预定义的主题边界,实现了自适应且高效的上下文选择。在LoCoMo、MT-Bench+和SCM4LLMs三个长对话基准测试集以及多个LLM后端上,DYCP在下游生成任务中表现出具有竞争力的答案质量,同时提升了上下文选择的精确度和推理效率。
AI 推荐理由
论文提出动态上下文剪枝方法,用于管理对话历史,与Agent Memory相关但非唯一主题。
论文信息