通过 KV 缓存压缩视角重新审视 LoRA 记忆

参数化检索增强将文档信息编码为轻量级模块（如 LoRA 适配器），以减少输入上下文需求。本文研究了文档级问答中参数侧记忆与 KV 缓存中上下文侧记忆的交互。研究发现，当 KV 缓存完整时 LoRA 贡献有限，但在激进压缩下效用显著，尤其在无文档上下文时恢复大量性能。结果表明，文档 LoRA 更应被视为解码时的参数化记忆而非文档编码器，且 QA 式监督优于原始上下文预测。该研究确立了文档 LoRA 作为互补记忆通道的地位，其价值在上下文证据稀缺时尤为凸显。