摘要
基于LLM的Agent技能(即增强智能体的结构化指令和脚本包)迅速普及,但其安全性尚待探索。本文提出SkillsMetric,一种五阶段静态分析框架,从模式密度、统计异常、数据流污染、导入异常和能力不匹配五个维度对技能包进行评分。我们构建了包含16种攻击类型的2,266个技能的对抗性评估数据集,并在SkillMD-138K语料库上进行了评估。该框架实现了0.93的AUC和73.4%的F1分数,能有效检测数据窃取(93%)和隐写载荷(93%)。然而,我们发现根本性的盲点:利用常见Shell命令的主机破坏攻击检出率为0%,通过自然语言操纵的提示注入仅检出42%。这表明仅靠静态分析不足以保障技能安全,需结合语义审查的深度防御架构。
AI 推荐理由
论文直接针对Agent Skills的安全分析,构建评估框架并检测恶意技能包,属于该领域的核心安全研究。
研究机构
The Graduate Center, City University of New York, New York, NY, USA
Hunter College, City University of New York, New York, NY, USA
The Ohio State University, Columbus, OH, USA
论文信息