Agent Safety Trajectory Modeling Proactive Auditing Multi-turn Interaction
摘要

LLM 智能体在多轮工具使用与环境交互中,安全风险常源于最终结果出现前的中间步骤。反应式审计往往滞后,无法在风险展开时及时预警。本文提出 TRACES,一种基于表示的主动审计器,利用观察者 LLM 的隐藏表征学习前缀级轨迹风险状态。该方法从步骤表征中提取潜在机制特征并建模其时间演化,以评估部分轨迹是否趋向不安全行为。TRACES 仅需弱轨迹级监督即可生成密集的前缀级风险估计,在多个基准测试中显著提升了安全预测与主动风险识别能力。

AI 推荐理由

论文聚焦多步交互中的轨迹风险建模,虽属安全审计,但紧密依赖任务规划过程的中间状态分析。

研究机构
Brown University The University of Texas at Austin Rutgers University Texas A&M University
论文信息
作者 Jiaqian Li, Yanshu Li, Boxuan Zhang, Ruixiang Tang, Kuan-Hao Huang
发布日期 2026-05-26
arXiv ID 2605.27690
相关性评分 8/10 (高度相关)