Context Compaction AI Safety Long-Horizon Agents Memory Management
摘要

现代 LLM Agent 依赖上下文压缩以维持长会话,但本文揭示该机制是安全关键故障点:压缩可静默移除内嵌治理约束,导致代理执行禁止操作,称为“治理衰减”。通过 ConstraintRot 基准测试七个模型家族,发现违规率从 0% 升至 59%。若约束被保留则无违规,一旦被丢弃违规率达 38%。此外,研究提出“压缩驱逐攻击”,证明对抗性注入可诱导摘要器遗漏策略。最后,提出无需训练的“约束固定”缓解方案,将违规率恢复至 0%,确立上下文管理为部署 Agent 的一级治理表面。

AI 推荐理由

论文核心研究上下文压缩(记忆管理)如何导致安全约束丢失,直接涉及记忆机制的可靠性。

研究机构
北京科技大学
论文信息
作者 Shiyang Chen
发布日期 2026-06-21
arXiv ID 2606.22528
相关性评分 9/10 (高度相关)