摘要
终身模型编辑旨在持续更新大语言模型中的动态事实,同时保留无关知识与通用能力,但常受困于灾难性遗忘与模型崩溃。本文发现长期鲁棒的编辑器共享“终身归一化”策略,并首次提供其理论解释,揭示自增强稳定性循环。基于此,提出 StableEdit 方法,通过显式预热与全白化增强稳定性,显著改善长周期编辑效果且开销极低。
AI 推荐理由
论文核心研究模型终身编辑与自我更新机制,解决灾难性遗忘,属于 Agent 自我进化范畴。
研究机构
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China, Anhui, China
论文信息