摘要
KV缓存压缩通常以最终答案准确率进行评估,隐含假设保留答案即保留支持它的推理过程。本研究针对大型推理模型验证该假设,发现压缩可能导致正确答案与其可见支持理由的有效性以不同速率被保留。通过受控的重放协议,隔离并评估了十种Token驱逐方法和一种量化方法在数学推理、科学问答等任务上的表现。结果显示,Token驱逐方法虽能保持竞争力准确率,但显著降低了链式支持和扰动忠实度,揭示了“答案-证据”差距。相比之下,覆盖保持的量化控制受影响较小,表明问题主要源于对推理轨迹部分访问的丢失而非内存减少本身。
AI 推荐理由
论文核心探讨大模型推理过程中的忠实度,揭示准确率与推理证据间的差距,直接关联推理机制评估。
研究机构
University of Illinois Urbana-Champaign
论文信息