低延迟系统中的工具制造与自进化大语言模型智能体

生产环境中的大语言模型智能体常因重复生成代码而浪费延迟并降低可靠性。本文提出一种代理式工具制造流水线，将重复的标准操作程序步骤在部署前编译为经过验证的版本化工具。该工具制造者基于实时环境收集执行轨迹、观察后端模式与数值，生成候选工具并针对标记案例进行修复。运行时，智能体直接调用这些工具，仅在必要时回退至代码生成。在履行中心警报分类系统中的部署显示，该方法将 p50 延迟降低了 42%，并将端到端错误率最高降低了 53%。