摘要
稳健地维持和更新连续变量是工作记忆的显著特征。针对传统连续吸引子网络的脆弱性及标准RNN难以学习连续流形的问题,本文受皮层电路中广泛存在的除性归一化启发,提出了循环除性归一化网络(RDNN)。通过动力学系统分析,证明该生物物理约束使网络收敛于高保真度的鲁棒慢流形。此外,分析了反向传播中的梯度动态,揭示其引入的活动依赖性局部梯度缩放能抑制参数更新,实现有效秩的自我压缩,从而避免优化病态。消融实验表明,除性归一化对于防止时变输入下的流形破碎至关重要,是学习高保真连续表示的关键计算机制。
AI 推荐理由
论文直接研究工作记忆机制,提出新网络架构以解决连续变量维持问题,属于核心研究。
研究机构
北京师范大学系统科学学院
北京师范大学认知神经科学与学习国家重点实验室
启元实验室
北京师范大学启元实验室
论文信息