Red Teaming Self-Play LLM Safety Adversarial Training Self-Improvement
摘要

本文提出 GPT-Red,一种旨在发现前沿大语言模型新型提示注入攻击的自动化红队代理。该模型通过可扩展的自博弈算法进行训练,攻击同时训练的多样化防御代理群体,以评估并提升生产系统的鲁棒性。作为史上最大规模的安全训练运行,GPT-Red 在攻击成功率上超越人类专家,并能泛化至新环境。未来,随着模型鲁棒性增强,将为更强大的红队代理提供学习信号,从而解锁自我改进的飞轮效应。

AI 推荐理由

论文核心在于通过自博弈实现红队代理的自我进化与持续改进,构建自我提升飞轮。

研究机构
OpenAI
论文信息
作者 Eric Wallace, Christopher A. Choquette-Choo, Nikhil Kandpal, Sam Toyer, Dylan Hunn et al.
发布日期 2026-07-28
arXiv ID 2607.26115
相关性评分 9/10 (高度相关)