摘要
持续模型合并（CMM）支持基础模型在顺序任务中快速定制，是重复训练的可扩展替代方案。然而，现有合并规则缺乏对学习容量分配的控制，导致严重遗忘。本文基于模式连通性假设，提出一种由常微分方程驱动的合并方法（ODE-M），通过积分时变速度场并施加屏障约束，追踪低损失连接路径以避免遗忘。实验表明，该方法在主流基准上优于现有技术。
AI 推荐理由
论文聚焦持续模型合并中的遗忘问题，通过动态路径优化实现模型能力的持续适应与改进，契合自我进化主题。
研究机构
Northeastern University, Shenyang, China
论文信息