摘要
现代编码代理提供多种工具接口,但关于其有效性的结论存在矛盾。本文在合成计算任务和 SWE-bench Mini 修改任务上,对两种主流代理进行了严格的三臂消融实验(基线/仅 Bash/仅代码执行)。研究发现,限制代理仅使用代码执行工具通常在成本上更具优势或与最便宜的竞品持平,且通过率在各组间无显著差异。结果表明,最优工具表面的选择取决于任务体制与代理设计的共同作用,而非单一因素,且成本差异主要源于失败轨迹而非成功编辑的开销。
AI 推荐理由
论文核心研究编码 Agent 的工具选择(execute_code vs bash),直接对应技能学习中的工具使用与选择机制。
研究机构
罗切斯特理工学院
论文信息