摘要
现代编码代理的评估常忽视上游上下文获取阶段。本文提出 Agent Retrieval Bench,一个文件级基准测试,旨在评估代理在真实工作流信号下查找所需仓库文件的能力。该基准涵盖代码到测试、注释到上下文等四类正向检索任务及选择性检索评估。实验表明,无单一检索方法占优,且现有代理在部分样本中完全遗漏关键文件。研究揭示了校准差距,并证实基于检索的初始上下文能显著提升效率,但仍存在优化空间。
AI 推荐理由
论文核心研究编码 Agent 的上下文检索机制,即如何从海量代码库中获取并管理关键记忆以支持任务。
研究机构
National University of Singapore (NUS)
Peking University
论文信息