面向查询和记忆感知的长上下文处理重排序框架

本文基于对大语言模型中检索头的现有分析，提出了一种替代的重排序框架，训练模型使用所选头部的注意力分数来估计文档与查询的相关性。该方法提供了一种列表级解决方案，在排序过程中利用整个候选短名单中的整体信息。同时，它自然地生成连续的相关性分数，使得可以在任意检索数据集上进行训练，而无需Likert量表监督。该框架轻量且有效，仅需小规模模型（如4B参数）即可实现良好性能。大量实验表明，该方法在多个领域（包括维基百科和长叙事数据集）上优于现有的最先进的点级和列表级重排序器。此外，它还在LoCoMo基准测试中建立了新的最先进水平，评估了对话理解和记忆使用的能力。我们进一步证明，该框架支持灵活的扩展。例如，通过向候选段落添加上下文信息可以进一步提高排序准确性，而从中间层训练注意力头则能提升效率而不牺牲性能。