HypRAG：双曲密集检索用于检索增强生成

嵌入几何在检索质量中起着基础作用，然而目前用于检索增强生成（RAG）的密集检索器大多局限于欧几里得空间。自然语言具有从广泛主题到具体实体的层次结构，而欧几里得嵌入无法保留这种结构，导致语义上距离较远的文档看似相似，增加幻觉风险。为解决这些问题，本文引入双曲密集检索方法，在双曲空间的Lorentz模型中开发了两种模型变体：HyTE-FH（全双曲Transformer）和HyTE-H（将预训练欧几里得嵌入投影到双曲空间的混合架构）。为防止序列聚合过程中的表示崩溃，提出了一种几何感知的池化操作符——Outward Einstein Midpoint，该操作符可证明保留层次结构。在MTEB数据集上，HyTE-FH优于等效的欧几里得基线模型；在RAGBench上，HyTE-H在上下文相关性和答案相关性方面相比欧几里得基线模型提升了高达29%，且使用了更小的模型。分析还表明，双曲表示通过基于范数的分离编码文档的具体性，从一般概念到具体概念的径向增长超过20%，这是欧几里得嵌入所不具备的特性，突显了几何归纳偏置在忠实RAG系统中的关键作用。