Safety Agent Evolution Safety Harness Trajectory Analysis
摘要

大型语言模型(LLM)智能体的安全性不仅取决于模型权重,还依赖于管理上下文、记忆、工具和权限的智能体护栏。现有机制常将护栏视为固定部署产物,限制了其应对新兴风险的能力。本文提出安全护栏进化(SHE)框架,从 rollout 轨迹中学习动态的安全边界。SHE 将护栏分解为系统提示、规则库、安全记忆和工具策略四个具有明确责任的组件,并引入归因引导的进化循环,将轨迹失败转化为结构化诊断,学习特定组件的边界细化,并通过安全-效用验证选择进化后的护栏。实验表明,SHE 显著提升了安全性并改善了良性效用。

AI 推荐理由

论文核心提出SHE框架,通过轨迹驱动实现安全护栏的自适应进化与迭代优化。

研究机构
上海人工智能实验室 复旦大学 上海交通大学 香港科技大学
论文信息
作者 Wanying Qu, Qinghua Mao, Yu Li, Jiyao Liu, Xin Zhang et al.
发布日期 2026-08-10
arXiv ID 2608.09885
相关性评分 9/10 (高度相关)