context compression graph priors long-context LLM memory efficiency
摘要

长上下文大语言模型计算成本高且处理超长输入能力有限,使上下文压缩成为关键组件。现有方法多依赖训练压缩器或启发式修剪,难以在严格令牌预算下兼顾任务相关性、主题覆盖及跨句连贯性。本文提出一种无训练、模型无关的压缩框架,利用结构性图先验选择紧凑句子集。该方法构建结合语义边与顺序边的稀疏混合句子图,通过聚类提取主题骨架,并基于可解释评分对句子排序,最终生成有序压缩上下文。实验表明其在长文档基准上表现优异。

AI 推荐理由

论文提出无训练上下文压缩框架,优化长上下文记忆管理,核心解决记忆效率问题。

研究机构
电子科技大学计算机科学与工程学院 电子科技大学软件与工程学院 韩国湖西大学计算机科学与工程系
论文信息
作者 Yitian Zhou, Chaoning Zhang, Jiaquan Zhang, Zhenzhen Huang, Jinyu Guo et al.
发布日期 2026-04-25
arXiv ID 2604.23277
相关性评分 9/10 (高度相关)