随机化 YaRN 提升长上下文推理的长度泛化能力

大型语言模型通常在短序列上预训练，虽经扩展仍难以泛化至超长序列。本文提出随机化 YaRN 方法，结合基于 YaRN 的位置外推、随机位置编码及长度课程学习，以提升长度泛化能力。通过在短上下文数据训练中采样更大范围的位置编码，使模型接触分布外位置表示。在 BABILong 和 MRCR 基准上的评估表明，该方法在 16K 至 128K 上下文长度上显著优于标准微调，尤其在远分布外长度表现最佳，证明了渐进式暴露于分布外位置分布对长上下文推理的有效性。