RAM-Net：具有选择性可寻址记忆的表达性线性注意力

尽管线性注意力架构能够提供高效的推理能力，但将无限历史压缩到固定大小的记忆中会限制其表达能力和导致信息丢失。为了解决这一问题，本文提出了一种名为随机存取记忆网络（RAM-Net）的新架构，旨在弥合全注意力模型的表示能力和线性模型的记忆效率之间的差距。RAM-Net的核心设计是将输入映射到高维稀疏向量作为显式地址，使模型能够选择性地访问大规模记忆状态。该设计在不增加额外参数的情况下实现了状态规模的指数级扩展，显著减少了信号干扰并提高了检索精度。此外，固有的稀疏性确保了卓越的计算效率，因为状态更新仅限于最小条目。大量实验表明，RAM-Net在细粒度长距离检索任务中始终优于最先进的基线模型，并在标准语言建模和零样本常识推理基准测试中表现出竞争力，验证了其在显著降低计算开销的同时捕捉复杂依赖关系的能力。