Benchmark Code Evolution Test Generation Agent Evaluation
摘要

软件测试与代码共同进化:代码变更需伴随新测试或更新以记录新行为。现有基准常孤立测试与代码变更,依赖静态元数据,难以验证测试的可执行性及语义关联。本文提出 TestEvo-Bench,这是一个源自软件仓库的测试与代码协同进化基准,包含测试生成与测试更新两个赛道。每个任务基于真实提交历史,支持执行导向的评估指标。作为实时基准,它通过时间戳筛选和数据持续挖掘降低数据泄露风险。实验表明,当前先进 Agent 在该基准上表现尚可,但在最新任务和成本受限下成功率显著下降。

AI 推荐理由

论文核心研究代码与测试的协同进化,评估 Agent 适应变化的能力。

研究机构
University of Waterloo Google
论文信息
作者 Jiale Amber Wang, Kaiyuan Wang, Pengyu Nie
发布日期 2026-07-02
arXiv ID 2607.02469
相关性评分 9/10 (高度相关)