超越位置偏差：将上下文压缩从位置驱动转向语义驱动

大型语言模型在长上下文场景中面临高计算开销与信息冗余问题。现有软提示压缩方法受限于位置偏差，依赖固定位置插入或物理布局分组，导致性能不稳定及语义碎片化。为此，本文提出语义一致性上下文压缩（SeCo）方法，将压缩机制从位置驱动转变为语义驱动。SeCo 不受物理令牌布局约束，通过在语义空间动态锚定，选取查询相关令牌作为语义中心，并基于一致性权重聚合其余令牌。该设计在消除位置偏差的同时保留了语义一致性。实验表明，SeCo 在下游任务、推理延迟及域外鲁棒性方面均表现优异。