ReFilter：通过门控过滤器提高检索增强生成的鲁棒性

检索增强生成（RAG）已成为在知识密集型问答任务中为大型语言模型（LLMs）提供外部证据的主要范式。其核心设计选择在于如何将检索到的样本融合到LLMs中，现有方法主要包括基于查询的融合、参数化融合和基于潜在表示的融合。尽管这些方法在小规模检索时表现良好，但随着检索候选数量k的增加，它们往往难以有效扩展：更大的k虽然提高了证据覆盖率，但实际的top-k检索不可避免地包含不相关或冗余内容，并增加了推理成本。为了解决这些问题，我们提出了ReFilter，一种新的基于潜在表示的融合框架，能够在token级别进行过滤和融合。ReFilter包括三个关键组件：用于编码上下文特征的上下文编码器、用于对每个token加权的门控过滤器，以及用于将加权token特征整合到LLM隐藏状态中的token融合模块。我们在四个通用领域问答基准上的实验表明，ReFilter在领域内适应和跨领域迁移下均能保持最佳平均性能。此外，ReFilter在无需领域微调的情况下，零样本迁移到五个生物医学问答基准，达到70.01%的平均准确率（使用Qwen2.5-14B-Instruct）。