RUBAS：基于评分标准的强化学习用于智能体安全

大语言模型向工具赋能智能体的演进引发了与现实世界执行相关的新安全挑战。现有对齐方法常依赖粗略的拒绝信号或静态监督，难以在多样化风险中平衡安全与有用的工具执行。本文提出 RUBAS，一种基于评分标准的智能体安全强化学习框架。该框架将智能体行为分解为工具使用安全、参数安全、响应安全和有用性四个维度。这些结构化评分标准为完整智能体轨迹提供细粒度且可解释的奖励，使强化学习能在保持任务完成的同时优化安全工具使用。实验表明，RUBAS 在多个基准上提升了安全性，减少了基于工具的幻觉，并保持了竞争力。