连续自然语言处理系统顺序任务适应中灾难性遗忘缓解的比较实证研究

本文针对神经语言模型在持续适应新任务时面临的灾难性遗忘问题，进行了实证比较研究。基于 CLINC150 数据集构建十任务场景，评估了 ANN、GRU 和 Transformer 三种架构在重放、正则化及参数隔离等持续学习策略下的表现。结果表明，单纯顺序微调会导致严重遗忘，而包含重放机制（如 MIR）的组合策略能显著提升稳定性与塑性平衡，部分配置甚至优于联合训练。研究强调了架构选择与持续学习机制协同设计的重要性。