摘要
本文提出 MANAR,一种基于全局工作空间理论的记忆增强注意力机制。该架构通过可训练的抽象概念记忆和抽象概念表示(ACR)构建中央工作区,包含整合与广播两个阶段,实现了线性时间复杂度。作为标准多头注意力的兼容重参数化,它支持预训练权重迁移,并能合成输入凸包之外的非凸表示。实验表明,其在语言、视觉和语音任务上表现优异,是二次方注意力的高效替代方案。
AI 推荐理由
论文提出基于可训练抽象概念记忆的架构,核心解决记忆增强与全局整合机制。
论文信息