摘要
本文提出 CWE-Trace 框架，旨在探究大语言模型在漏洞基准测试中的高分是源于真实的安全推理还是数据污染下的模式匹配。通过严格的时间分割数据集和新型诊断指标（DFI、HDD），评估了多个基座模型及微调变体。研究发现，数据污染未带来显著优势，且微调仅改变输出阈值而未修正决策策略，表现为“无理解的校准”。结果表明，当前 LLM 缺乏可靠的系统软件安全推理能力，检测性能与理解能力严重脱节。
AI 推荐理由
论文核心诊断 LLM 在安全领域是否具备真实推理能力，而非模式匹配。
研究机构
University of North Carolina at Charlotte, Charlotte, NC, USA
论文信息