摘要
持久化记忆赋予大语言模型智能体存储事实、决策及推理历史的能力,但也引入了新的攻击面。本文提出“伪造放大推理记忆攻击”(FARMA),通过插入规避关键词检测的伪造推理轨迹,并利用自指强化击败共识防御,从而毒害智能体的推理记忆而非事实知识。为应对该威胁,我们设计了分层防御管道 SENTINEL,其核心组件“推理卫士”利用五个加权信号结构性地检测伪造条目。实验表明,FARMA 在基准条件下攻击成功率高达 100%,而 SENTINEL 能将其降至 0% 且无误报,凸显了保护智能体推理历史完整性的必要性。
AI 推荐理由
论文核心研究代理记忆机制中的推理历史完整性,提出针对记忆的伪造攻击及防御系统。
研究机构
The Pennsylvania State University, University Park, PA, USA
论文信息