摘要
日益增多的代理系统通过记忆文件、行为偏好和知识库在会话间维持持久状态。这虽提升了代理的实用性与自改进能力,却也引入了新的提示注入攻击面,即恶意指令可嵌入持久文件并影响未来行为。本文利用沙盒合成工作区,研究了基于记忆的代理系统中的提示注入攻击,评估了 Anthropic Claude Code 和 OpenAI Codex 在四种模型上的表现。结果表明,尽管难以让代理用不可信内容覆盖自身记忆文件,但已植入的载荷能成功攻击当前及未来会话。研究发现持久记忆改变了提示注入的威胁模型,亟需在不阻碍代理自适应的前提下保护记忆更新。
AI 推荐理由
论文核心研究基于记忆的代理系统中的提示注入风险,直接探讨记忆机制的安全威胁。
研究机构
University of Washington, Seattle, WA, USA
论文信息