通过主动回顾学习实现大语言模型鲁棒长上下文理解

本文提出了一种主动回顾学习（Active Recap Learning, ARL）框架，旨在提升大语言模型（LLM）对长上下文的理解能力。ARL通过在持续预训练阶段构建目标序列，并在推理阶段进行回顾性摘要生成，使模型能够重新审视并总结早期内容。首先，基于长、短前向上下文之间的损失差异识别关键标记，并找到最相关的先前段落，然后利用LLM对其进行摘要。其次，ARL使模型能够在推理过程中自主生成并使用这些回顾性摘要，从而建立跨段落的递归记忆机制。实验结果表明，ARL在RULER和LongBench数据集上分别取得了26.8%和9.44%的显著提升。总体而言，ARL提供了一种简单而有效的持续预训练方法，以增强长上下文理解能力，推动了LLM可扩展的记忆增强技术。