Evolution Strategy LLM Fine-tuning Mathematical Reasoning Model Merging
摘要

进化策略(ES)是资源受限下大语言模型(LLM)推理微调的有力替代方案,但直接应用于十亿参数模型时效率低下,因高维空间中随机扰动多与有效更新方向正交,导致优化不稳定。本文提出Hyper-ES,一种基于子空间的ES框架。该框架首先通过少量低成本的梯度微调获取下降方向,构建捕获有用推理更新的紧凑适应子空间。随后,利用CMA-ES在该子空间内优化层级的DARE-TIES合并系数,使ES能在有意义方向的组合上搜索,而非任意全模型扰动。在多个数学推理数据集上的实验表明,Hyper-ES优于GRPO-LoRA,且所需显存更省。

AI 推荐理由

论文旨在通过进化策略优化LLM的数学推理能力,直接提升推理性能。

研究机构
中国南方科技大学自动化与智能制造学院 新加坡国立大学计算机学院 中国南京大学智能科学与工程学院 华为技术有限公司Noah’s Ark Lab
论文信息
作者 Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan et al.
发布日期 2026-08-06
arXiv ID 2608.05541
相关性评分 9/10 (高度相关)