摘要
现代模型不再仅依赖传统的KV缓存,而是采用潜在缓存、稀疏选择器和循环状态等多种形式的记忆,且它们在压缩下表现各异。本文提出一种涵盖四类记忆的运行时可观测性契约,通过三个算子实例化于五种架构家族的六种配置中,并将各阶段界限组合为可执行的请求级风险账本。该契约将误差指标作为类型,确保组合时的度量一致性。在1240万次读取和八路并发测试中,该账本量化了诚实权衡并零违规地持有风险预算。应用于DeepSeek-V4堆栈时,成功定位了静默损坏的结构边界,所有工件均已开源。
AI 推荐理由
论文直接研究异构注意力内存(KV cache等)的可观测性与风险量化,属于记忆机制的核心系统实现。
研究机构
Metask Lab
论文信息