多语言健忘症：关于多语言LLM中遗忘的可迁移性

随着多语言大型语言模型的广泛应用，确保其在不同语言环境下的安全性和公平性面临独特挑战。现有研究主要集中在单语环境下（通常是英语）的机器遗忘，而多语言环境因跨语言知识迁移和预训练及微调数据中的偏见引入了额外复杂性。本文使用Aya-Expanse 8B模型，在两种设置下研究多语言遗忘：(1) 数据遗忘和 (2) 概念遗忘。我们将事实知识和刻板印象基准扩展到十种语言，包括英语、法语、阿拉伯语、日语、俄语、波斯语、韩语、印地语、希伯来语和印尼语，这些语言覆盖五个语系并涵盖资源水平广泛。实验表明，高资源语言的遗忘通常更稳定，并且在类型学相关的语言之间观察到不对称的迁移效应。此外，我们的语言距离分析表明，句法相似性是跨语言遗忘行为的最强预测因素。