KV Cache Prefix Caching Editable Memory Inference Optimization
摘要

本文指出前缀缓存因字段变更导致失效的问题,揭示模型在预填充阶段已将结论写入下游“笔记”。基于此发现,提出两种能力:(1) 可编辑性,通过修正笔记即可恢复决策,无需重计算;(2) 可组合性,支持将预编译技能重新定位并拼接到任意上下文。该方法适用于各类注意力机制,在在线基准测试中将 p90 首 token 延迟降低 53 至 398 倍,同时保持高缓存命中率。

AI 推荐理由

论文核心研究 KV Cache 作为记忆机制的可编辑性与组合性,提出新型记忆架构。

研究机构
Pine AI
论文信息
作者 Bojie Li
发布日期 2026-06-14
arXiv ID 2606.17107
相关性评分 9/10 (高度相关)