摘要
针对现有仓库级编码基准忽视细粒度能力的不足，本文提出 SWE-Explore，专门评估智能体的仓库探索技能。该基准涵盖 10 种语言及 203 个开源仓库的 848 个问题，要求智能体在固定行数预算下返回相关代码区域的排序列表。通过从成功轨迹中提取行级真值，本文从覆盖率、排序及上下文效率维度进行评估。结果表明，智能体探索者显著优于传统检索方法，其中行级覆盖与高效排序是区分最先进探索者的关键指标。
AI 推荐理由
论文聚焦代码智能体的仓库探索技能，评估上下文检索与代码定位能力，属核心技能研究。
研究机构
University of Illinois at Urbana-Champaign
Independent Researcher
The Chinese University of Hong Kong
Shanghai Jiao Tong University
论文信息