摘要
DeepSeek提出的Engram是一种用于平衡大语言模型存储与推理能力的条件记忆模块。然而,该模块依赖基于词元级别的N-gram哈希进行嵌入查找,导致其与特定分词器紧密耦合,更换分词器需重新训练。为提升Engram嵌入的可复用性,本文提出改进哈希算法,使不同分词器的Engram模型兼容。我们将N-gram视为从所有可能字节序列中采样潜在有用字节序列的方法,取代了原有的XOR哈希,采用通用多项式哈希构建联合嵌入空间。实验表明,这种简单的替换在实现分词器无关性的同时,保持了可比的性能。
AI 推荐理由
论文直接针对DeepSeek Engram这一条件记忆模块进行改进,解决其嵌入复用问题,属于记忆机制的核心研究。
研究机构
新加坡管理大学
DSO国家实验室
论文信息