摘要
针对编码智能体的长上下文剪枝是高效上下文管理的关键技术。现有方法如 SWE-Pruner 需附加独立分类器,而本文发现智能体在读取工具输出时,其内部表示已蕴含代码上下文的相关性信息。据此,作者提出 SWE-Pruner Pro,直接在智能体内部利用小型头部网络将内部表示转化为逐行保留或剪枝标签,并结合长度感知嵌入。实验表明,该方法在两个开源基座和四个多轮基准测试中,最多节省 39% 的令牌量且保持任务质量,同时在特定模型上显著提升了 SWE-Bench 验证解决率和长上下文准确率。
AI 推荐理由
论文核心研究编码智能体的上下文剪枝机制,直接优化内部记忆表示以提升效率。
研究机构
LLMSE Lab, Shanghai Jiao Tong University
Dunyin Group
论文信息