摘要
本研究在生态系统规模上分析了基于大语言模型的软件工程代理行为。通过涵盖 43 个框架、126 种配置的 64,380 次 SWE-bench 运行，我们分离了框架与大模型的影响。研究发现，即使大模型固定，更换框架也会导致行为特征的显著差异，甚至使同一行为信号（如错误率）对解决率的影响方向完全相反。框架身份比大模型家族更能解释行为变异。这表明单一框架得出的行为规则缺乏通用性，需经跨配置验证。
AI 推荐理由
论文深入分析软件工程 Agent 的行为模式与工具使用流程，虽侧重评估而非新技能设计，但紧密关联技能应用。
研究机构
Blekinge Tekniska Högskola
Karlskrona, Sweden
Singapore Management University
Singapore, Singapore
Nanjing University
Nanjing, China
Nanyang Technological University
论文信息