摘要
本文提出了一种线性化的2-单纯形注意力机制,通过将三线性得分重写为复合查询键的内积,使一个token轴上的求和形式与普通softmax注意力一致。随后,利用正随机特征近似该求和,将全部历史数据存储在固定大小的状态中,而第二个轴则在近期token的短窗口内保持显式。这实现了序列长度的线性成本与窗口化2-单纯形注意力所缺乏的全局感知能力。结合自定义Triton内核与Kimi Delta注意力构建无softmax模型,在同等算力下取得最高下游准确率,并在16k上下文长度上显著降低LAMBADA困惑度。
AI 推荐理由
论文核心在于通过线性化注意力机制实现固定大小的全局状态存储,直接解决长序列记忆与计算效率的平衡问题。
研究机构
Truth Audit Labs
论文信息