Data Synthesis Reasoning Enhancement Evolutionary Algorithms LLM Training
摘要

大型语言模型的推理前沿虽经现代后训练范式显著提升,但仍受限于训练数据的多样性与复杂度。现有数据合成方法常因同质化崩溃而失效。为此,本文提出进化式任务发现(EvoTD)框架,将数据合成视为在算法技能与复杂度属性双轴流形上的定向搜索。该框架引入结构化进化算子:交叉算子合成新技能组合以增强多样性,参数变异算子缩放结构约束以促进泛化。此外,集成动态最近发展区过滤器,确保任务处于模型可学习区域。实验表明,EvoTD 能跨架构、预训练机制及规模显著提升推理能力。

AI 推荐理由

论文核心旨在通过结构化数据合成扩展 LLM 推理边界,直接提升推理能力。

研究机构
Georgia Institute of Technology
论文信息
作者 Liqin Ye, Yanbin Yin, Michael Galarnyk, Yuzhao Heng, Sudheer Chava et al.
发布日期 2026-05-12
arXiv ID 2605.11666
相关性评分 9/10 (高度相关)