大型语言模型搜索增强推理中的知识整合衰减

现代大型语言模型（LLMs）通过使用搜索增强推理将外部知识整合到长链推理中，在复杂任务中表现出色。然而，我们发现这一范式中存在一个关键但尚未充分研究的瓶颈，称为知识整合衰减（KID）。具体而言，随着推理生成长度增加，模型越来越难以将检索到的证据整合到后续推理步骤中，即使相关信息可用，也会限制性能。为了解决这一问题，我们提出了自锚定知识编码（SAKE），一种无需训练的推理时策略，旨在稳定知识利用。通过在推理过程的开始和结束处锚定检索到的知识，SAKE防止其被先前上下文掩盖，从而保持其语义完整性。在多跳问答和复杂推理基准上的大量实验表明，SAKE显著缓解了KID并提升了性能，为代理式LLMs中的知识整合提供了一种轻量且有效的解决方案。