KV Cache Memory Management Fixed-Lag Smoothing LLM Inference
摘要

本文将有界工作记忆中的项目保留决策重构为对隐藏信号(项目是否被重用)的估计问题。作者提出了“固定滞后平滑”范式,通过观察模型在近期未来的注意力分布来衡量“演示效用”,从而决定记忆驱逐策略。该方法实例化为无需训练的 RMM 策略。实验表明,在重用具有内生性和时间分离的控制场景中,该方法显著优于现有方法;但在自然文本基准测试中,由于模型预测普遍准确,其优势消失。本研究主要贡献在于提供了理论框架及对该方法适用边界的诚实评估。

AI 推荐理由

论文核心研究有界工作记忆下的驱逐策略,提出基于固定滞后平滑的记忆估计框架。

研究机构
University of North Carolina at Chapel Hill New York University
论文信息
作者 Maruthi Vemula, Neeraj Praneeth Gajula
发布日期 2026-07-27
arXiv ID 2607.24667
相关性评分 9/10 (高度相关)