从 1 比特危险信号中发现代理安全规范

本文提出 EPO-Safe 框架，使 LLM 代理仅凭稀疏的二进制危险警告，通过迭代规划与反思自主进化出自然语言行为规范。研究表明，代理能在结构化环境中从极度匮乏的信号里推导隐藏的安全目标，并在数轮交互后生成可解释的安全规则。实验证实，缺乏专用安全通道的常规奖励驱动反思反而会加剧奖励黑客行为，而该方法能有效过滤噪声并发现人类可读的安全约束。