摘要
检索增强生成（RAG）已被广泛用于帮助大型语言模型（LLMs）处理涉及长文档的任务。然而，现有的检索模型并未专门设计用于长文档检索，无法解决长文档检索中的几个关键挑战，包括上下文感知、因果依赖性和检索范围。在本文中，我们提出了AttentionRetriever，一种新的长文档检索模型，该模型利用注意力机制和基于实体的检索方法，为长文档构建上下文感知的嵌入并确定检索范围。通过大量实验，我们发现AttentionRetriever在长文档检索数据集上的表现显著优于现有检索模型，同时保持了与密集检索模型相当的效率。
AI 推荐理由
论文提出了一种针对长文档检索的模型，涉及上下文感知和检索范围，与Agent Memory相关。
论文信息