摘要
长上下文大语言模型计算成本高且处理超长输入能力有限,使上下文压缩成为关键组件。现有方法多依赖训练压缩器或启发式修剪,难以在严格令牌预算下兼顾任务相关性、主题覆盖及跨句连贯性。本文提出一种无训练、模型无关的压缩框架,利用结构性图先验选择紧凑句子集。该方法构建结合语义边与顺序边的稀疏混合句子图,通过聚类提取主题骨架,并基于可解释评分对句子排序,最终生成有序压缩上下文。实验表明其在长文档基准上表现优异。
AI 推荐理由
论文提出无训练上下文压缩框架,优化长上下文记忆管理,核心解决记忆效率问题。
研究机构
电子科技大学计算机科学与工程学院
电子科技大学软件与工程学院
韩国湖西大学计算机科学与工程系
论文信息