摘要
Harness 优化通过优化器代理迭代更新目标代理的 Harness 来实现自动化代理创建。现有研究仅通过观察目标代理的性能提升来间接评估优化器，忽略了中间步骤的错误行为。为此，本文提出一种低成本直接评估方法——优先级排序，要求优化器对 Harness 组件按更新潜力进行排序。该方法无需昂贵 rollout 即可量化优化器能力，且其排序表现与实际多步优化能力高度相关。此外，本文构建了包含 182 个人类验证场景的 Shor 数据集以支持该评估。
AI 推荐理由
论文核心研究 Agent 的自我优化机制，提出直接评估优化器能力的方法，属于自我进化范畴。
研究机构
Yonsei University
Microsoft Research Asia
Texas A&M University
论文信息