摘要
长上下文推理仍是大型语言模型的瓶颈,现有循环记忆方法面临顺序更新易覆盖早期关键证据、串行依赖限制并行性等问题。为此,我们提出PI-Mem(并行迭代记忆),一种并行处理所有文本块并迭代精炼共享记忆的机制。该机制在有限轮次内,基于当前记忆并行读取各块以筛选互补证据并合并至紧凑记忆中。通过强化学习优化工作流,模型可自适应终止。实验显示,PI-Mem在3.6M Token场景下显著优于基线,提升了准确率与推理速度。
AI 推荐理由
论文提出PI-Mem机制,专门解决长上下文中的记忆更新与并行处理问题,核心贡献在于记忆架构设计。
研究机构
上海交通大学
上海人工智能实验室
清华大学
浙江大学
中国科学技术大学
哈尔滨工业大学
论文信息