LLM Memory Tokenization Embedding Reusability Hashing
摘要

DeepSeek提出的Engram是一种用于平衡大语言模型存储与推理能力的条件记忆模块。然而,该模块依赖基于词元级别的N-gram哈希进行嵌入查找,导致其与特定分词器紧密耦合,更换分词器需重新训练。为提升Engram嵌入的可复用性,本文提出改进哈希算法,使不同分词器的Engram模型兼容。我们将N-gram视为从所有可能字节序列中采样潜在有用字节序列的方法,取代了原有的XOR哈希,采用通用多项式哈希构建联合嵌入空间。实验表明,这种简单的替换在实现分词器无关性的同时,保持了可比的性能。

AI 推荐理由

论文直接针对DeepSeek Engram这一条件记忆模块进行改进,解决其嵌入复用问题,属于记忆机制的核心研究。

研究机构
新加坡管理大学 DSO国家实验室
论文信息
作者 Jia Peng Lim, Hai Leong Chieu
发布日期 2026-07-31
arXiv ID 2607.29065
相关性评分 9/10 (高度相关)