Agent Security Tool Use Adversarial Attack Trust Asymmetry
摘要

随着语言模型承担调用外部 API 等代理角色,其攻击面显著扩大。本文引入安全不对称分数(SAS),通过匹配载荷对,系统评估模型在面对用户消息、工具元数据或工具输出中相同恶意指令时的 susceptibility 差异。实验发现,原生代理模型对工具描述中的攻击更脆弱,而通用模型则相反;工具输出场景下该趋势反转,表明模型隐含地将工具元数据视为可信指令。机理研究揭示了安全相关表示的非线性编码特性,暴露了当前工具使用模型在处理对抗内容时的系统性盲区。

AI 推荐理由

论文核心研究 Agent 使用工具时的安全机制,深入分析工具描述与输出对模型行为的影响。

研究机构
University of Arizona
论文信息
作者 Mohammed Sameer Syed, Rozhin Yasaei
发布日期 2026-05-30
arXiv ID 2606.00566
相关性评分 8/10 (高度相关)