agent coding reasoning effort tool usage empirical study LLM reliability
摘要

本研究通过 90 次独立代理运行构建同一实时回顾板应用,评估了额外能力(如测试工具、设计提示)对软件质量的影响。结果显示,模型能力层级起主导作用;测试工具增加了 42%-68% 成本却未提升功能得分或可靠性。相反,将推理努力从“高”提升至“极高”,使首次完美运行率从 28% 跃升至 89%,修正提示减少五倍。研究表明,多数首次失败源于推理薄弱而非可见缺陷,因此应匹配修复方案与失败根源,即增强模型或增加推理投入。

AI 推荐理由

论文核心结论指出提升推理努力而非工具访问能显著提高代码生成可靠性,直接聚焦推理能力。

研究机构
TrendAI
论文信息
作者 Achint Mehta
发布日期 2026-07-02
arXiv ID 2607.02436
相关性评分 9/10 (高度相关)