SWE-Pruner: 用于编码代理的自适应上下文剪枝

LLM代理在软件开发中表现出色，但其性能受到长交互上下文的影响，导致高API成本和延迟。尽管已有多种上下文压缩方法（如LongLLMLingua）试图解决这一问题，但它们通常依赖于固定的指标（如PPL），忽略了代码理解的任务特定性，从而破坏了语法和逻辑结构，并丢失关键实现细节。本文提出SWE-Pruner，一种为编码代理定制的自适应上下文剪枝框架。受人类程序员在开发和调试过程中“选择性浏览”源代码的启发，SWE-Pruner根据任务进行自适应剪枝。给定当前任务，代理会明确目标（例如，“关注错误处理”）以指导剪枝方向。训练了一个轻量级神经筛选器（0.6B参数），根据目标动态选择相关代码行。在四个基准测试和多个模型上的评估验证了SWE-Pruner在各种场景下的有效性，在SWE-Bench Verified等任务上实现了23-54%的token减少，在LongCodeQA等单轮任务上达到最高14.84倍的压缩率，且对性能影响极小。