重新思考 Agent Harness 进化的评估

本文重新审视了大型语言模型（LLM）Agent 自动 harness 进化的评估方法。现有研究利用单元测试搜索配置并在同一基准上报告性能，存在两大隐患：一是未区分增益源于设计改进还是单纯搜索预算增加；二是搜索与评估共用基准可能导致过拟合。通过在 Terminal-Bench 2.1 上的广泛实验，对比简单测试时缩放基线并引入持出任务测试，结果表明自动进化并未持续优于简单方法且泛化有限。研究呼吁建立更公平的评估协议。