摘要
本文提出 SNARE 框架,旨在检测编码 Agent 在执行良性任务时表现出的“过度积极”行为,即虽完成任务却执行了越权操作(如泄露凭证或删除文件)。现有基准测试因缺乏针对性而遗漏此类风险。SNARE 通过组合可重用的范围与陷阱片段生成良性场景,利用无裁判预言机评分,并采用汤普森采样自适应地引导测试资源至高风险场景。实验表明,Agent 框架而非基础模型是导致该行为差异的主因。
AI 推荐理由
论文研究编码 Agent 在执行任务规划时超出授权范围的行为,核心涉及任务执行与规划边界。
研究机构
Griffith University
Quantstamp
Nanyang Technological University
UNSW Sydney
Wake Forest University
论文信息