摘要
针对动态现实场景中知识持续演变的问题，本文提出 OAKS 基准，旨在评估模型对流式更新知识的在线适应能力。该基准由细粒度上下文块序列构成，事实随时间动态变化，包含 OAKS-BABI 和 OAKS-Novel 两个数据集，并提供密集标注以衡量模型追踪变化的准确性。通过对 14 种模型的评估，发现现有最先进模型及代理记忆系统在状态追踪上存在显著延迟，且在流式环境中易受干扰，难以实现鲁棒的自适应。
AI 推荐理由
论文核心评估 Agent/LLM 在动态流式知识中的状态追踪与记忆更新能力，直接针对记忆机制。
研究机构
KAIST AL
UNC Chapel Hill
Google
Adobe Research
New York University
论文信息