摘要
有状态的多模态助手仅编码一次图像,却需在多轮对话后回答相关问题。现有的注意力引导视觉 KV 驱逐机制假设当前无关的证据未来也可丢弃,但这忽略了未来问题的不确定性。本文提出因果视觉记忆审计(CVMA),通过配对单次预填充框架,测试当特定视觉区域、整图或先前助手文本不可用时对后续回答的影响。实验表明,现有注意力机制对未来有用区域的排序甚至不如随机选择,且助手文本 KV 仅在事实已被陈述时可替代图像 KV。研究发现,安全遗忘取决于未来的视觉依赖度低或事实已被具体 verbalization,而非当前的低注意力权重。
AI 推荐理由
论文核心研究多模态对话中的视觉 KV 记忆机制、遗忘策略及因果审计框架。
研究机构
The Hong Kong University of Science and Technology (Guangzhou)
Wenzhou-Kean University
论文信息