摘要
大型语言模型(LLM)提示词及智能体程序(如GEPA)的进化优化主要受限于适应度评估成本,即每次候选评估均需运行回答型LLM,导致总搜索成本由评估器模型层级决定。本文通过解耦LLM的三种角色重构搜索过程:在低成本层级执行高频的回答任务,仅在罕见的反思/变异算子中使用强模型,并利用向上跨层级迁移技术将廉价演化出的提示词部署至更强目标。实验表明,该方法在四个任务和十一个模型上匹配或超越同层级优化效果,同时将超过96%的搜索Token置于最廉价层级,搜索成本降低5.6-14倍,若推理层级生成思维链则降幅达25-54倍。
AI 推荐理由
论文核心聚焦于LLM提示词和Agent程序的进化优化(Evolutionary Optimization),涉及搜索策略与模型迭代。
研究机构
IBM Research
论文信息