解耦推理与隐式事实标记（DRIFT）：一种用于高效长上下文推理的双模型框架

将大量动态知识整合到大型语言模型（LLMs）中仍是一个重大挑战，因为事实数据与推理模式之间存在固有的纠缠。现有的解决方案，从非参数检索增强生成（RAG）到参数化知识编辑，通常在实践中受到有限上下文窗口、检索器噪声或灾难性遗忘风险的限制。本文提出DRIFT，一种新颖的双模型架构，旨在显式地将知识提取与推理过程解耦。不同于静态提示压缩，DRIFT采用轻量级知识模型，根据查询动态地将文档块压缩为隐式事实标记。这些密集表示被投影到推理模型的嵌入空间中，以替代原始冗余文本，同时保持推理准确性。大量实验表明，DRIFT在长上下文任务中显著提升了性能，在可比规模模型中优于强基线。我们的方法为扩展LLMs的有效上下文窗口和推理能力提供了一种可扩展且高效的范式。