关于软件工程代理中隐式上下文压缩的问题

基于大语言模型的软件工程代理面临关键瓶颈：上下文长度限制导致复杂长程任务失败。一种有前景的解决方案是将上下文编码为连续嵌入而非离散令牌，以实现更密集的信息存储。本文应用近期提出的上下文自编码器进行此目的。虽然该方法在单次常识和代码理解任务中表现良好，但实验表明其在多步代理编码任务中失效。本文深入探讨了这一现象，并讨论了导致失败的可能因素。