摘要
基于大语言模型的代理利用第三方技能扩展开放世界能力,但这些技能可能引入潜在安全隐患。本文构建了 OpenSkillRisk 基准,包含从公开市场收集的 263 个高风险技能,按威胁类型分类并配对标准化任务与沙箱环境。实验涵盖三种主流 CLI 框架和十三个先进模型,结果显示现有系统均无法可靠规避风险,不安全动作执行率约 17%。研究揭示了三种典型失败模式:未能识别风险、识别后未干预、以及超出用户意图执行指令,强调了提升风险推理与执行控制的必要性。
AI 推荐理由
论文核心研究 Agent 使用第三方技能时的安全风险,直接针对技能调用机制与安全性。
研究机构
香港大学数据科学系
香港人工智能研究院,香港城市大学
香港城市大学数据科学系
论文信息