摘要
自我进化技能(SES)系统将智能体轨迹提炼为持久技能,使不可信经验转化为可信指令。本文提出PoisonedEvolution,一种针对此转化过程的轨迹投毒攻击。在仅能观察目标技能且无法访问私有池或编辑技能库的黑盒设定下,攻击者通过提供有界证据实现投毒。实验表明,在SkillClaw中主流LLM进化器上,10%的攻击支持率即可在91.0%的试验中嵌入目标行为,且在Trace2Skill架构中也表现出迁移性。研究揭示了证据提升过程是自我进化智能体的安全边界。
AI 推荐理由
论文直接针对Self-evolving Agent的进化机制进行安全性分析,核心探讨经验如何转化为技能。
研究机构
Ant Group
浙江大学
清华大学
杭州电子科技大学
香港大学
西安交通大学
国防科技大学
论文信息