Neuromem：对LLM外部记忆中流式生命周期的粒度分解

大多数对外部记忆模块的评估假设静态设置：记忆在离线状态下构建，并在固定状态下查询。实际上，记忆是流式的：新事实持续到达，插入与检索交替进行，记忆状态在模型处理查询时不断演变。在这种情况下，准确性和成本由完整的记忆生命周期决定，包括信息的摄入、维护、检索和生成集成。本文提出了Neuromem，一个可扩展的测试平台，用于在交错插入和检索协议下评估外部记忆模块，并将其生命周期分解为五个维度，包括记忆数据结构、归一化策略、巩固策略、查询公式策略和上下文集成机制。通过LOCOMO、LONGMEMEVAL和MEMORYAGENTBENCH三个代表性数据集，Neuromem在共享服务栈中评估了可互换的变体，报告了词级F1和插入/检索延迟。总体来看，我们发现随着轮次增加，记忆性能通常下降，时间相关查询仍是最具挑战性的类别。记忆数据结构在很大程度上决定了可达到的质量边界，而激进的压缩和生成集成机制主要在插入和检索之间转移成本，但准确性提升有限。