摘要
长期多模态记忆不仅需支持信息检索,还需对交互中积累的观测数据进行计算。现有系统主要强调检索记忆,通过摘要和索引组织历史以返回相关信息。本文提出“分析性记忆”作为补充抽象,将重复的多模态观测组织为支持过滤、聚合、排序和时间比较的可查询结构。我们提出了AdaMM框架,联合支持检索与分析记忆。该框架从对话、图像及上下文元数据中提取带来源的属性值观测,发现重复字段结构并物化以供分析访问。实验表明,AdaMM在两个基准上显著提升了性能。
AI 推荐理由
论文提出分析性记忆架构,直接解决多模态Agent的长期记忆存储与计算问题。
研究机构
香港科技大学
字节跳动
论文信息