Long-Context Memory Mechanism Parallel Processing Reinforcement Learning
摘要

长上下文推理仍是大型语言模型的瓶颈,现有循环记忆方法面临顺序更新易覆盖早期关键证据、串行依赖限制并行性等问题。为此,我们提出PI-Mem(并行迭代记忆),一种并行处理所有文本块并迭代精炼共享记忆的机制。该机制在有限轮次内,基于当前记忆并行读取各块以筛选互补证据并合并至紧凑记忆中。通过强化学习优化工作流,模型可自适应终止。实验显示,PI-Mem在3.6M Token场景下显著优于基线,提升了准确率与推理速度。

AI 推荐理由

论文提出PI-Mem机制,专门解决长上下文中的记忆更新与并行处理问题,核心贡献在于记忆架构设计。

研究机构
上海交通大学 上海人工智能实验室 清华大学 浙江大学 中国科学技术大学 哈尔滨工业大学
论文信息
作者 Dawei Liu, Haixu Song, Shuang Cheng, Shijie Wang, Haozheng Hou et al.
发布日期 2026-08-04
arXiv ID 2608.03048
相关性评分 9/10 (高度相关)