摘要
大型视觉语言模型(LVLM)虽功能强大,却因无意记忆敏感个人信息而引发隐私风险。现有遗忘基准常使用虚构身份,却忽视了一个关键的阶段一失败:模型未能有效记忆目标信息,导致后续遗忘评估不可靠。本文诊断了记忆不足和多跳诅咒为根本原因,提出了 ReMem,一个可靠的多跳多图像记忆基准。ReMem 通过原则性的数据扩展、感知推理的问答对及多样的视觉上下文,确保稳健的基础学习。此外,提出新的暴露度指标以量化模型内部概率分布中的信息擦除深度。实验表明,ReMem 为诊断 LVLM 的学习与遗忘行为提供了严谨可信的框架。
AI 推荐理由
论文核心研究 LVLM 的记忆形成失败及遗忘评估,直接针对记忆机制。
研究机构
Department of Artificial Intelligence, Chung-Ang University
Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University
KT Corporation
论文信息