Hit-RAG：通过偏好对齐学习长上下文推理

尽管检索增强生成（RAG）能为多模态大模型提供外部知识支撑，但面对超长上下文时，常导致注意力稀释与推理幻觉。信息密度激增使关键证据淹没于噪声中，阻碍相关片段的有效识别。本文提出 Hit-RAG，一种多阶段偏好对齐框架，旨在通过渐进式优化流程解决上述认知瓶颈。该方法分三阶段系统优化外部证据利用：首先通过监督微调建立基础上下文感知；其次利用判别式偏好对齐增强抗干扰鲁棒性；最后采用群组相对策略优化稳定逻辑合成。在八个基准测试上的评估表明，Hit-RAG 显著提升了长上下文场景下的推理准确性，性能超越更大规模模型。