DySCO：面向长上下文语言模型的动态注意力缩放解码

理解并推理长上下文是语言模型的关键能力，但随着输入长度增加，现有模型准确率往往下降。本文提出 DySCO，一种无需训练的 novel 解码算法，旨在提升长上下文推理能力。该方法利用专用于长上下文检索的“检索头”，在每一步解码中识别并显式加权任务相关 token，从而动态调整注意力分布。实验表明，DySCO 在多个指令微调和推理模型上均显著提升了长上下文推理基准（如 MRCR 和 LongBenchV2）的性能，在 128K 上下文长度下相对增益高达 25%。