Panini：通过结构化记忆实现标记空间中的持续学习

语言模型越来越多地用于推理其未训练过的内容，如新文档、演变知识和用户特定数据。一种常见方法是检索增强生成（RAG），它将原文档外部存储为块，并在推理时仅检索相关子集供LLM进行推理。然而，这导致测试时计算效率低下（LLM反复推理相同文档）；此外，块检索可能引入无关上下文，增加不支持的生成。我们提出了一种类人非参数持续学习框架，其中基础模型保持不变，学习通过将每个新经验整合到一个外部语义记忆状态中实现，该状态不断积累并巩固自身。我们提出了Panini，通过将文档表示为生成性语义工作区（GSW）——一个实体和事件感知的问题-答案对网络，足以使LLM重建经历的情境并通过基于推理的推理链挖掘潜在知识。给定查询，Panini仅遍历持续更新的GSW（而非原文档或块），并检索最可能的推理链。在六个QA基准测试中，Panini实现了最高的平均性能，比其他竞争基线高出5%-7%，同时使用更少的答案-上下文标记，支持完全开源流程，并减少了在精选不可回答查询上的不支持答案。结果表明，在写入时高效且准确地构建经验（如GSW框架所实现的）在读取时带来了效率和可靠性的提升。