摘要
本文形式化 Transformer 上下文窗口为 I/O 页,证明具备索引外部记忆的工具增强型代理,其检索成本显著低于顺序扫描代理。理论推导显示,单次查询成本从Ω(N) 降至 O(log N),累积成本从Θ(T²) 降至 O(T log T)。实验在多种内容类型及模型代际间验证了该预测:索引代理实现常数级读取,而无索引排序页无法弥合差距。研究还发现,面对熟悉内容时,模型参数记忆会干扰检索协议,导致灾难性令牌消耗。结论主张分离关注点:利用语言模型构建索引,而采用确定性算法执行遍历。
AI 推荐理由
论文核心论证索引式外部记忆对代理推理效率的决定性作用,提出记忆架构新范式。
研究机构
Champalimaud Foundation, Lisbon, Portugal
论文信息