摘要
本文提出 Darwin Family,一种通过无梯度权重空间重组实现大语言模型无训练进化合并的框架。该研究旨在不增加额外训练的情况下,通过重组现有检查点中编码的潜在能力来提升前沿推理性能。Darwin 引入三大核心思想:支持细粒度重组的自适应合并基因组、平衡诊断信号与进化搜索的 MRI-信任融合机制,以及支持异构模型跨架构育种的结构映射器。实验表明,该方法在多个规模上均优于父代模型,实现了无需梯度训练的递归多代进化。
AI 推荐理由
论文提出无训练进化合并框架,核心机制为自我进化与模型重组。
研究机构
VIDRAFT Inc., Seoul, South Korea
论文信息