摘要
对话助手日益依赖持久化长期记忆以实现跨会话的个性化响应。然而,当存储的用户信息被重新引入模型上下文时,可能会在不恰当或无关的场景中影响响应。本研究探讨了记忆增强型LLM中的两种失效模式:跨域泄露(一个生活领域的记忆影响另一个领域的响应)以及由记忆引发的阿谀奉承(存储的用户信念使模型更倾向于同意用户而非真实回应)。我们在推理阶段对记忆的呈现方式应用了一种简单的修改,无需更改模型或记忆内容。在PersistBench上的七个模型实验中,我们将常用的将所有记忆作为非结构化列表注入的“全上下文”格式,与按领域划分记忆的结构化格式进行了比较。这种简单的修改在保持效用一致性的同时,显著降低了跨域泄露,最强方法平均减少了8.8%的泄露率。
AI 推荐理由
论文直接研究记忆增强LLM中的长期记忆机制,提出结构化记忆架构以解决跨域泄露问题。
研究机构
University of Saskatchewan
University of California–Irvine
University of Wisconsin–Madison
Obra D. Tompkins High School
Independent
论文信息