关于学习重要性评分在KV缓存压缩中局限性的研究

本文通过Speculative Importance Prediction（SIP）方法研究了学习型KV缓存压缩的可行性。SIP是一种基于KV表示预测token重要性的1.7M参数非查询感知评分器。尽管其架构复杂（多时间跨度前瞻、交叉注意力），但在多个种子、保留级别和任务中，SIP的表现并未优于随机选择等简单基线。主要发现包括：(1) 基于位置的启发式方法（保留前4个和最后N个token）可匹配或超越学习方法；(2) 预填充注意力提供的信号与复杂学习评分器相当；(3) KV表示中超出位置和预填充注意力的信息对重要性预测帮助有限。我们假设未来查询与生成轨迹之间的循环依赖是造成这一困难的原因。