Attention Mechanism Long Context Linear Attention Efficient LLM
摘要

本文提出了一种线性化的2-单纯形注意力机制,通过将三线性得分重写为复合查询键的内积,使一个token轴上的求和形式与普通softmax注意力一致。随后,利用正随机特征近似该求和,将全部历史数据存储在固定大小的状态中,而第二个轴则在近期token的短窗口内保持显式。这实现了序列长度的线性成本与窗口化2-单纯形注意力所缺乏的全局感知能力。结合自定义Triton内核与Kimi Delta注意力构建无softmax模型,在同等算力下取得最高下游准确率,并在16k上下文长度上显著降低LAMBADA困惑度。

AI 推荐理由

论文核心在于通过线性化注意力机制实现固定大小的全局状态存储,直接解决长序列记忆与计算效率的平衡问题。

研究机构
Truth Audit Labs
论文信息
作者 Aritra Das, Dhruman Gupta, Debayan Gupta
发布日期 2026-08-10
arXiv ID 2608.09307
相关性评分 9/10 (高度相关)