基于语义路由 LoRA 的可逆终身模型编辑

现实世界的动态演变 necessitates 大语言模型的持续编辑。现有方法虽探索模块化隔离或参数高效策略，但仍受限于持续更新导致的语义漂移与知识遗忘。为此，我们提出 SoLA，一种基于语义路由的 LoRA 终身编辑框架。在 SoLA 中，每次编辑被封装为独立的 LoRA 模块，训练后冻结并通过语义路由映射输入，实现基于语义匹配的动态激活。该机制避免了集群更新引发的语义漂移，缓解了参数共享导致的灾难性遗忘。更重要的是，SoLA 支持通过移除语义路由键值精确撤销特定编辑，恢复模型原始行为，这是文献中首次实现的可逆回滚编辑能力。此外，SoLA 将决策过程整合至编辑层，无需辅助路由网络即可实现端到端决策。实验表明，SoLA 能有效学习并保留编辑知识，实现精准、高效且可逆的终身模型编辑。