评估AGENTS.md：仓库级别的上下文文件对编码代理是否有帮助？

在软件开发中，一种常见做法是通过手动或自动生成的上下文文件（如AGENTS.md）来定制编码代理以适应特定仓库。尽管这一做法受到代理开发者强烈推荐，但目前尚无严谨研究验证其在实际任务中的有效性。本文通过两种互补设置评估了编码代理的任务完成性能：一是基于流行仓库中的SWE-bench任务，并使用LLM生成的上下文文件；二是基于包含开发者提交的上下文文件的新问题集。结果表明，与不提供仓库上下文相比，上下文文件通常会降低任务成功率，并增加超过20%的推理成本。行为上，无论是LLM生成还是开发者提供的上下文文件，都会促使代理进行更广泛的探索，且代理倾向于遵循其指令。最终结论认为，不必要的上下文要求会使任务更加困难，因此人工编写的上下文文件应仅描述最小需求。