摘要
思维链(CoT)监控是AI安全栈的重要组成部分,但其有效性依赖于推理轨迹能真实反映模型行为的假设。本研究从模型投毒视角探究CoT监控的极限,证明可在推理模型中植入后门,使模型在产生攻击者指定行为的同时,其CoT轨迹看似完全良性。研究发现,通过简单的微调即可在不同架构和规模的推理模型中诱导此类“CoT隐藏”后门。当直接投毒无效时,我们引入课程训练方法,逐步教导模型在隐藏行为的同时生成目标输出。这些发现表明,CoT监控应被视为对推理轨迹与最终响应一致性的考察,而非单纯的轨迹异常检测。
AI 推荐理由
论文核心探讨思维链(CoT)监控的局限性,直接涉及LLM推理机制的安全性与一致性分析。
研究机构
Microsoft
论文信息