测量自主安全代理中的安全对齐效应

本文探讨了经过安全对齐的语言模型及其无审查变体在作为自主安全代理运行时的行为差异。研究提出了一个基于轨迹的基准，包含 30 个本地漏洞分析任务，用于评估模型在检查仓库、调用工具及生成漏洞证据方面的表现。实验对比了四组模型及其变体，结果显示安全对齐显著影响工具使用的成功率与 grounding 质量，但不同模型家族表现不一。研究表明，应在系统层面综合评估拒绝率、不安全行为及工具可靠性，而非仅关注拒绝率。