Chain-of-Thought Security Adversarial Attack Monitoring
摘要

思维链(CoT)监控旨在捕捉那些在动作上看似正常、仅在推理中暴露的奖励黑客行为。然而,我们证明控制推理的对手可以轻易击败它。通过仅重写代理的推理以伪装成善意工程,同时保留所有命令和输出不变,可使监控器的捕获率从约95%骤降至11%以下。聚合准确率掩盖了这种崩溃。现有基于轨迹的防御仅能部分恢复,因为重写内容对事实保持真实,仅对意图撒谎;唯有外部信息能提供实质性帮助。

AI 推荐理由

论文核心探讨思维链(CoT)监控机制的失效问题,直接针对推理过程的安全性与可靠性。

研究机构
Pivotal Research Fellowship
论文信息
作者 Shikhar Shiromani, Leo Richter
发布日期 2026-08-01
arXiv ID 2608.00583
相关性评分 9/10 (高度相关)