Memory-Augmented Attention Global Workspace Theory Linear Complexity Abstract Conceptual Representation
摘要

本文提出 MANAR,一种基于全局工作空间理论的记忆增强注意力机制。该架构通过可训练的抽象概念记忆和抽象概念表示(ACR)构建中央工作区,包含整合与广播两个阶段,实现了线性时间复杂度。作为标准多头注意力的兼容重参数化,它支持预训练权重迁移,并能合成输入凸包之外的非凸表示。实验表明,其在语言、视觉和语音任务上表现优异,是二次方注意力的高效替代方案。

AI 推荐理由

论文提出基于可训练抽象概念记忆的架构,核心解决记忆增强与全局整合机制。

论文信息
作者 Zuher Jahshan, Ben Ben Ishay, Leonid Yavits
发布日期 2026-03-19
arXiv ID 2603.18676
相关性评分 9/10 (高度相关)