摘要
维持长期交互仍是大型语言模型(LLMs)的瓶颈,因其有限的上下文窗口难以处理随时间扩展的对话历史。现有记忆系统通常将交互视为离散片段,未能捕捉对话流的潜在叙事一致性。我们提出TraceMem,一个受认知启发的框架,通过三阶段流程从用户对话轨迹中编织结构化的叙事记忆模式:(1) 短期记忆处理,采用演绎主题分割方法划分情节边界并提取语义表示;(2) 突触记忆巩固,将情节总结为情景记忆,并将其与语义结合形成用户特定轨迹;(3) 系统记忆巩固,利用两阶段分层聚类将这些轨迹组织成具有统一主题的连贯、随时间演变的叙事线索。这些线索被封装为结构化的用户记忆卡片,形成叙事记忆模式。为实现记忆利用,我们提供了一种智能搜索机制以增强推理过程。在LoCoMo基准上的评估表明,TraceMem在脑启发式架构下实现了最先进的性能。分析显示,通过构建连贯的叙事,其在多跳和时间推理方面超越了基线,凸显了其在深度叙事理解中的关键作用。此外,我们还提供了对记忆系统的开放讨论,并提出了对该领域的观点和未来展望。
AI 推荐理由
论文核心围绕构建叙事记忆架构,提出TraceMem框架,明确涉及长期对话记忆管理与结构化存储。
论文信息