摘要
随着 LLM Agent 自主选择工具日益普遍,其在不同权限工具间的选择成为关键安全问题。现有研究多忽视权限敏感性,本文聚焦“过度特权工具选择”现象,即 Agent 在低权限工具足够时仍选择高权限工具。我们提出 ToolPrivBench 基准,评估初始选择及故障后的升级行为。研究发现主流 Agent 普遍存在该问题且受瞬态故障加剧,通用安全对齐效果有限。为此,我们引入特权感知后训练防御机制,显著减少不必要的高权限工具使用,同时保留通用能力。
AI 推荐理由
论文核心研究 Agent 在不同权限工具间的选择机制,属于工具使用与安全策略的关键部分。
研究机构
北京智源人工智能研究院
中国科学院大学
论文信息