面向长程推理的信息感知 KV 缓存压缩

大语言模型推理能力的提升导致键值（KV）缓存规模激增。现有压缩方法主要依赖注意力权重，忽略了预测不确定性和令牌信息量等信息论信号。本文提出“前向影响”指标，衡量被压缩令牌对未来上下文的影响，发现高不确定性令牌对远期上下文影响显著。据此，我们提出 InfoKV，一种熵感知的 KV 缓存压缩框架，结合令牌级预测不确定性与层间表示演化，将熵分数融入注意力机制。在多种长上下文推理基准上的实验表明，InfoKV 在预填充和解码阶段均优于现有方法。