working memory divisive normalization recurrent neural networks dynamical systems
摘要

稳健地维持和更新连续变量是工作记忆的显著特征。针对传统连续吸引子网络的脆弱性及标准RNN难以学习连续流形的问题,本文受皮层电路中广泛存在的除性归一化启发,提出了循环除性归一化网络(RDNN)。通过动力学系统分析,证明该生物物理约束使网络收敛于高保真度的鲁棒慢流形。此外,分析了反向传播中的梯度动态,揭示其引入的活动依赖性局部梯度缩放能抑制参数更新,实现有效秩的自我压缩,从而避免优化病态。消融实验表明,除性归一化对于防止时变输入下的流形破碎至关重要,是学习高保真连续表示的关键计算机制。

AI 推荐理由

论文直接研究工作记忆机制,提出新网络架构以解决连续变量维持问题,属于核心研究。

研究机构
北京师范大学系统科学学院 北京师范大学认知神经科学与学习国家重点实验室 启元实验室 北京师范大学启元实验室
论文信息
作者 Zhaotian Gu, Jie Su, Weiwei Wang, Chang Liu, Tianyi Qian et al.
发布日期 2026-08-03
arXiv ID 2608.01947
相关性评分 9/10 (高度相关)