摘要
结构化 LLM 工作流通过预定义图协调专用子代理解决复杂任务,但其配置优化因设计空间巨大而极具挑战。现有方法多将其视为推理时路由问题。本文提出 FlowCompile,一种受机器学习编译器启发的结构化工作流编译器。它在部署前进行编译时设计空间探索,通过分析子代理并组合测量结果,一次性识别出涵盖多种精度 - 延迟权衡的高质量可复用配置集。实验表明,该方法无需重训练或在线适应,显著优于启发式及路由基线,最高加速达 6.4 倍,为灵活部署提供了优化产物。
AI 推荐理由
论文核心在于优化结构化工作流(即预定义的任务规划图),通过编译时探索平衡精度与延迟,直接提升规划执行效率。
研究机构
UMass Amherst
MIT-IBM Watson AI Lab
MIT
论文信息