用于检索增强生成的并行专家上下文解码

检索增强生成面临权衡：将文档连接到长提示中可以实现多文档推理，但会导致预填充瓶颈；而单独编码文档KV缓存虽然速度快，却破坏了跨文档交互。本文提出了一种无需训练的框架——并行专家上下文解码（Pced），将证据聚合从注意力机制转移到解码过程。Pced将检索到的文档视为独立的“专家”，通过一种新颖的检索感知对比解码规则同步其预测，该规则将专家logits与模型先验进行权衡。这种方法在不构建跨文档共享注意力的情况下恢复了跨文档推理能力。