摘要
本文探究语言模型是否能在训练后通过更新权重持续积累新知识。实验显示，仅用单一陈述训练会导致机械背诵，而多样化重述能显著提升知识可用性。研究发现，后续写入会导致先前事实行为性遗忘，尽管概率未完全擦除，但访问路径被重定向。结果表明，权重难以可靠维持可组合或抗干扰的长期记忆，上下文仍是更可靠的知识通道。
AI 推荐理由
核心研究 LLM 权重作为持续记忆机制的可行性、遗忘干扰及存储局限。
研究机构
Baseten
论文信息