摘要
大型语言模型(LLM)驱动的进化在程序搜索和算法发现方面展现出潜力,但长期依赖强模型成本高昂。现有方法通常在单个查询层面分配模型,忽视了进化搜索的状态依赖性。本文通过分析发现,搜索进展主要集中在早期,且廉价模型能以更低成本恢复大部分进展。据此,我们提出了一个无需训练的框架,通过自适应“种群交接”将预算分配从个体调用转向 evolving populations。该框架利用Bandit调度器让廉价模型探索轨迹,并以候选库的边际改进作为奖励决定交接时机,最终由强模型进行精炼。实验表明该方法在多数设置下表现最优。
AI 推荐理由
论文核心研究LLM驱动的进化搜索过程,提出自适应种群交接机制以优化进化过程中的资源分配。
研究机构
香港城市大学
卡内基梅隆大学
中国移动九域研究院
论文信息