LLM-Agent 并行计算 KV 缓存 工作流优化
摘要

大型语言模型作为智能体系统的执行引擎,仍通过顺序文本接口消耗上下文,这与现代结构化智能体工作流中存在不匹配。现有系统通常通过拼接文本来合并并行分支,导致结构丢失和计算冗余。本文提出 Parallel-Synthesis 框架,使合成器能直接消费并行工作代理生成的 KV 缓存。该框架结合缓存映射器与微调合成器适配器,实现非顺序缓存接口的生成。在九个数据集上的实验表明,该方法在七个数据集上表现优于或等同于文本基线,并将首 token 延迟降低 2.5 至 11 倍。

AI 推荐理由

论文聚焦并行 Agent 工作流中的分支合成,直接优化任务规划架构效率。

研究机构
Georgia Institute of Technology
论文信息
作者 Shikun Liu, Mufei Li, Dongqi Fu, Haoyu Wang, Yinglong Xia et al.
发布日期 2026-06-12
arXiv ID 2606.14672
相关性评分 8/10 (高度相关)