摘要
本文提出 GPT-Red,一种旨在发现前沿大语言模型新型提示注入攻击的自动化红队代理。该模型通过可扩展的自博弈算法进行训练,攻击同时训练的多样化防御代理群体,以评估并提升生产系统的鲁棒性。作为史上最大规模的安全训练运行,GPT-Red 在攻击成功率上超越人类专家,并能泛化至新环境。未来,随着模型鲁棒性增强,将为更强大的红队代理提供学习信号,从而解锁自我改进的飞轮效应。
AI 推荐理由
论文核心在于通过自博弈实现红队代理的自我进化与持续改进,构建自我提升飞轮。
研究机构
OpenAI
论文信息