摘要
自主执行网络攻击被视为前沿 AI 系统的关键红线，其中自主渗透是核心子任务。现有评估常因方法不透明、场景简化或提供过多先验知识而失效。为此，本文构建了包含目标服务器与智能体支架的新评估框架：设计了两级共 300 个目标环境，并采用配备通用安全工具且无特定先验知识的通用智能体架构。对 19 个大模型的评估显示，当前渗透成功率在 10.7% 至 69.3% 之间，且该能力随模型整体能力提升而增强。
AI 推荐理由
论文核心评估 LLM Agent 使用通用网络安全工具自主执行渗透测试的技能，属工具使用范畴。
研究机构
Pudan University
Shanghai Artificial Intelligence Laboratory
Concordia AI
Shanghai Innovation Institute
论文信息