门控零增长：一种保持函数特性的持续学习几何框架

本文提出“门控零增长”算子，用于持续学习中通过零初始化门控添加新残差块，同时保持原有函数特性。在横截性条件下，该方法诱导功能雅可比矩阵的秩分离，确保旧方向不变，仅新门控方向产生一阶变化。实验显示，在 Transformer 模型从 WikiText-103 适配至 BookCorpus 的过程中，该方法实现了近乎零的旧领域遗忘，显著优于非保持函数特性的对照方法。几何分析还涵盖了 LoRA 等现有结构，确立了其作为安全容量激活的规范实例。