摘要
现有代码生成基准仅评估从完整提示到单次输出的映射,忽视了真实开发中需求随中间结果动态澄清的过程。本文提出 Asuka-Bench,该基准结合不明确的用户意图与基于浏览器渲染行为的多轮优化机制。任务通过闭环解决:代码智能体生成项目,UI 智能体执行测试,用户大模型将评估结果转化为自然语言反馈以驱动下一轮迭代。实验涵盖 50 个任务及 8 个大模型,结果显示模型在利用反馈进行修复的能力上差异显著,且当前最强模型三轮后完成率仅 52%,表明该基准远未饱和。
AI 推荐理由
论文核心在于多轮反馈循环中的代码修正与自我改进能力,符合自我进化定义。
研究机构
University of Science and Technology of China
Independent researchers
论文信息