摘要
LLM 智能体在多轮工具使用与环境交互中,安全风险常源于最终结果出现前的中间步骤。反应式审计往往滞后,无法在风险展开时及时预警。本文提出 TRACES,一种基于表示的主动审计器,利用观察者 LLM 的隐藏表征学习前缀级轨迹风险状态。该方法从步骤表征中提取潜在机制特征并建模其时间演化,以评估部分轨迹是否趋向不安全行为。TRACES 仅需弱轨迹级监督即可生成密集的前缀级风险估计,在多个基准测试中显著提升了安全预测与主动风险识别能力。
AI 推荐理由
论文聚焦多步交互中的轨迹风险建模,虽属安全审计,但紧密依赖任务规划过程的中间状态分析。
研究机构
Brown University
The University of Texas at Austin
Rutgers University
Texas A&M University
论文信息