摘要
理解并推理长上下文是部署大语言模型的关键需求。尽管现有模型支持更长上下文窗口,却常无法有效利用输入中的相关证据。本文提出 ReContext,一种无需训练的推理方法,通过模型内部相关性信号构建查询条件证据池,并在最终生成前进行重放,同时保留完整原始上下文。该递归选择过程将证据组织与答案生成分离。基于联想记忆的理论分析及在八个数据集上的实验表明,该方法显著提升了证据利用率及推理性能。
AI 推荐理由
论文核心解决长上下文推理问题,提出无需训练的推理增强方法。
研究机构
University of Illinois Urbana-Champaign
论文信息