学习何时关注：面向长上下文大语言模型的条件记忆访问

针对大语言模型难以泛化至预训练上下文长度之外的问题，本文提出 L2A（Learning To Attend）层。该方法通过逐令牌决策是否调用全局注意力，实现条件式长程记忆访问。实验表明，L2A 在跳过约 80% 令牌全局注意力的情况下，性能仅比标准长上下文训练低 3%，并将有效上下文从 32K 扩展至 128K。此外，自定义 Triton 内核显著提升了训练吞吐量，并支持后训练剪枝，减少高达 50% 的 KV 缓存显存占用。