摘要
大语言模型的长上下文推理受限于键值(KV)缓存随序列长度线性增长的问题。现有剪枝方法通常针对特定查询确定token重要性,导致无法跨未见过查询复用。本文提出TaskPress框架,这是一种基于任务引导、查询无关的KV缓存淘汰机制。TaskPress不针对单一查询优化缓存,而是构建以高层任务指南为条件的可复用记忆表示。该指南在预填充阶段作为元查询,用于过滤下游查询前的无关token。此外,利用量化缩放因子作为零成本信号检测关键表示异常值,提供高效的token重要性代理指标。实验表明,TaskPress能在多种长上下文任务中高效创建紧凑且可复用的缓存。
AI 推荐理由
论文核心研究KV Cache压缩与复用,直接涉及LLM长期记忆机制的优化与架构设计。
研究机构
Seoul National University
Google
论文信息