Agent Safety Third-party Skills Benchmark Risk Evaluation
摘要

基于大语言模型的代理利用第三方技能扩展开放世界能力,但这些技能可能引入潜在安全隐患。本文构建了 OpenSkillRisk 基准,包含从公开市场收集的 263 个高风险技能,按威胁类型分类并配对标准化任务与沙箱环境。实验涵盖三种主流 CLI 框架和十三个先进模型,结果显示现有系统均无法可靠规避风险,不安全动作执行率约 17%。研究揭示了三种典型失败模式:未能识别风险、识别后未干预、以及超出用户意图执行指令,强调了提升风险推理与执行控制的必要性。

AI 推荐理由

论文核心研究 Agent 使用第三方技能时的安全风险,直接针对技能调用机制与安全性。

研究机构
香港大学数据科学系 香港人工智能研究院,香港城市大学 香港城市大学数据科学系
论文信息
作者 Qiyuan Liu, Tingfeng Hui, Kun Zhan, Kaike Zhang, Ning Miao
发布日期 2026-07-22
arXiv ID 2607.20121
相关性评分 9/10 (高度相关)