摘要
工具使用的大语言模型(LLM)智能体生成长轨迹,导致基于梯度的后训练内存密集。进化策略(ES)可实现无反向传播的全参数后训练,虽显存效率高但耗时久。为此,本文提出协同参数子空间进化策略(CoPES),将全参数空间分解为低维子空间并协同搜索以提升效率。在Qwen3.5-4B数学任务上的实验表明,在同等GPU小时预算下,CoPES恢复了GRPO验证准确率增益的92%(标准ES为67%),且理论显存需求低于GRPO的八分之一,显著优化了资源受限下的训练权衡。
AI 推荐理由
论文核心提出Cooperative Parameter-subspace Evolution Strategy (CoPES),基于进化策略进行模型后训练,直接对应自我进化主题。
研究机构
广东省脑智能计算重点实验室,南方科技大学计算机系
香港理工大学
深圳湾实验室
鹏城实验室
论文信息