数据达尔文主义第二部分：DataEvolve——AI 可自主进化预训练数据策展

本文提出 DataEvolve 框架，旨在解决大规模异构预训练语料中人工设计策略的局限性。该框架通过闭环进化循环，自动识别数据质量问题、生成候选策略、执行评估并迭代优化。在涵盖 6720 亿 token 的实验中，DataEvolve 经 30 轮迭代生成了 Darwin-CC 数据集。基于该数据训练的模型在多项基准测试中显著优于现有方法，证实了策略自动进化的可行性与必要性，尤其提升了知识密集型任务表现。