Tool Selection AI Safety Least Privilege LLM Agents
摘要

随着 LLM Agent 自主选择工具日益普遍,其在不同权限工具间的选择成为关键安全问题。现有研究多忽视权限敏感性,本文聚焦“过度特权工具选择”现象,即 Agent 在低权限工具足够时仍选择高权限工具。我们提出 ToolPrivBench 基准,评估初始选择及故障后的升级行为。研究发现主流 Agent 普遍存在该问题且受瞬态故障加剧,通用安全对齐效果有限。为此,我们引入特权感知后训练防御机制,显著减少不必要的高权限工具使用,同时保留通用能力。

AI 推荐理由

论文核心研究 Agent 在不同权限工具间的选择机制,属于工具使用与安全策略的关键部分。

研究机构
北京智源人工智能研究院 中国科学院大学
论文信息
作者 Kaiyue Yang, Yuyan Bu, Jingwei Yi, Yuchi Wang, Biyu Zhou et al.
发布日期 2026-06-18
arXiv ID 2606.20023
相关性评分 9/10 (高度相关)