摘要
本文提出 Harness-Bench，旨在评估现实 Agent 工作流中系统层（harness）配置对性能的影响。现有基准常忽略执行细节或固定系统层，难以研究其变异效应。该基准包含 106 个沙盒任务，在多模型后端下评估不同 harness 配置，保留原生执行行为。基于 5000 多次执行轨迹的分析显示，完成度、效率及失败模式因模型与 harness 组合而异，表明应报告配置级能力。研究还揭示了推理与工具反馈脱节的执行对齐失败问题，为构建可靠 Agent 执行栈提供诊断基础。
AI 推荐理由
论文聚焦 Agent 工具使用与工作流执行层（harness）的评估，核心涉及技能落地机制。
研究机构
北京大学
奇点大学
论文信息