从大型语言模型中建模低资源语言的持续学习方法

在多语言场景下建模语言模型面临诸多挑战，其中灾难性遗忘是主要问题。例如，通过调整大型语言模型（LLMs）来构建面向低资源语言的小型语言模型（SLM）时，会遇到灾难性遗忘的挑战。本文提出了一种持续学习策略，结合基于词性（POS）的代码切换和重放适配器策略，以缓解在从LLM训练SLM过程中出现的灾难性遗忘问题。实验在视觉语言任务（如视觉问答和语言建模任务）上的结果表明了所提架构的有效性。