LLM Agent Penetration Testing Evaluation Framework Cybersecurity Skill Assessment
摘要

针对现有端到端黑盒评估易受错误级联影响的问题,本文提出一种两阶段解耦评估框架,将漏洞利用执行与侦察分离。通过在 70 个高保真 Web 漏洞测试床上进行真实注入和知识驱动的消融实验,该框架有效隔离了利用性能与侦察噪声。实证评估了五种开源渗透测试代理,结果显示:在提供准确漏洞上下文时,代理功能成功率高达 90%;而自主侦察因非结构化遥测解析失败,召回率仅约 50%。研究还揭示了不同架构的能力差异,为下一代自动化安全代理设计提供了细粒度基准。

AI 推荐理由

论文核心评估 LLM Agent 在渗透测试中的工具使用与漏洞利用技能,解耦侦察与执行以量化能力边界。

研究机构
University of Science and Technology of China, Hefei, China Suzhou Institute for Advanced Research, University of Science and Technology of China
论文信息
作者 Liwei Yu, Shuo Li, Ming Zhou, Ge Chu, Yan Guo
发布日期 2026-06-24
arXiv ID 2606.25332
相关性评分 9/10 (高度相关)