Agent Memory 缓存优化 智能体系统 中间表示 结构化推理
摘要

智能体AI流程存在一种隐藏的低效问题:即使用户的自然语言表述完全新颖,系统仍会重复生成相同的中间逻辑,如指标归一化或图表构建。传统边界缓存无法捕捉这种低效,因为它将推理视为一个黑箱整体。本文提出SemanticALLI,这是Alli(PMG的营销情报平台)中的一种流程感知架构,旨在实现冗余推理的可操作化。通过将生成过程分解为分析意图解析(AIR)和可视化合成(VS),SemanticALLI将结构化的中间表示(IRs)提升为可缓存的第一类对象。实验表明,在智能体循环中使用缓存具有显著影响。基线单体缓存由于语言变化率限制,命中率最高仅为38.7%。相比之下,本文的结构化方法通过引入可视化合成阶段,实现了83.10%的命中率,避免了4,023次LLM调用,中位延迟仅为2.66毫秒。这种内部重用减少了总token消耗,为AI系统设计提供了实用启示:即使用户很少重复自己,流程本身却常常在稳定、结构化的检查点上重复,而这些正是缓存最可靠的地方。

AI 推荐理由

论文核心聚焦于Agent系统中的记忆机制,提出了一种结构化缓存中间推理结果的方法。

论文信息
作者 Varun Chillara, Dylan Kline, Christopher Alvares, Evan Wooten, Huan Yang et al.
发布日期 2026-01-22
arXiv ID 2601.16286
相关性评分 9/10 (高度相关)