摘要
大语言模型的过往对话如何影响其未来表现？近期研究表明，先前的幻觉等历史交互会以意外方式干扰后续响应。本文提出 History-Echoes 框架，从概率（马尔可夫链量化状态一致性）和几何（测量隐藏表示一致性）两个视角探究对话历史的偏差机制。跨三个模型家族和六个数据集的分析显示，这两种视角高度相关。研究证明，行为持久性表现为一种“几何陷阱”，潜在空间中的间隙限制了模型的轨迹，揭示了记忆机制对模型行为的深层约束。
AI 推荐理由
论文核心研究对话历史（记忆）如何通过几何陷阱机制影响 LLM 后续生成，深入探讨记忆偏差。
研究机构
以色列理工学院计算机科学系
哈佛大学计算机科学系
论文信息