摘要
本文提出了一种面向稀疏性的进化（SAE）框架，用于模型合并。该框架通过迭代的剪枝-合并循环作为新的变异算子，并将稀疏性约束引入评分函数，引导进化过程更倾向于选择稀疏模型。实验表明，该方法在多个大规模LLM基准测试中提升了模型合并的可靠性，且由于其简单性和与现有方法的正交性，易于集成。
AI 推荐理由
论文提出了一种基于稀疏性的进化框架，用于模型合并，核心围绕Agent/LLM的自我进化机制。
研究机构
DIRO & Institut Courtois, Université de Montréal
Mila – Quebec AI Institute
Université Sorbonne Paris Nord, LIPN, CNRS
Université Paris Cité, LLF, CNRS
Canada CIFAR AI Chair
论文信息