摘要
基于大语言模型的智能体利用内外记忆系统处理复杂任务,但这使其面临严重的记忆提取攻击且缺乏有效防御。本文提出 MemPot,这是首个经理论验证的防御框架,通过在记忆中注入优化的蜜罐来对抗此类攻击。该框架通过两阶段优化生成陷阱文档,在最大化攻击者检索概率的同时对正常用户保持隐蔽。理论上证明了其检测效率优于静态检测器;实验表明,其在低误报率约束下显著提升了检测性能,且不增加在线推理延迟,兼顾了安全性与实用性。
AI 推荐理由
论文核心针对 LLM Agent 的记忆系统提出防御框架,直接优化记忆机制安全性。
研究机构
中国机构
论文信息