Leyline：用于代理推理的 KV 缓存指令

现代 KV 缓存管理假设聊天机器人工作负载为只增模式，但这不适用于需策略性编辑对话历史的代理型 LLM。针对现有系统无法按策略主动移除或替换缓存片段的问题，本文提出 Leyline，一种服务侧原语。它通过声明式指令分离编辑内容与位置校正，利用架构无关接口调用内核进行 RoPE 旋转修正，实现原位拼接或前缀修剪。实验表明，该方法显著提升了缓存命中率、降低了延迟，并提高了代理任务的解决率。