摘要
大型语言模型在代理式编码场景中应用日益广泛，能够检查文件、执行命令并迭代修正代码。本文提出 BackendForge 基准，包含 56 个源自真实开源应用的后端生成任务。该基准要求模型根据 OpenAPI 契约生成可构建、部署且仅通过 HTTP 测试评估的 Docker 化服务。为强化评估，研究引入测试代理与代码代理协同进化测试预言机与参考实现。实验表明，即便表现最佳的模型在最终严格测试下成功率也仅为 28.6%，揭示当前模型在生成完整后端服务方面仍存在显著困难。
AI 推荐理由
论文核心评估 Agent 使用工具、执行代码及生成可部署后端服务的技能，属技能学习范畴。
研究机构
Key Lab of HCST (PKU)
Beijing Tongming Lake Information Technology Application Innovation Center (TLAIC)
Fudan University Institute of Systems for Advanced Computing
SCS, Peking University
Shanghai Institute of Systems for Open Computing
论文信息