Chain of Thought Model Safety Reasoning Robustness Intervention Detection
摘要

编辑模型的思维链(CoT)可能出于多种目的,例如预填充更强模型的推理或移除可能导致不安全输出的步骤。此类干预的成功往往取决于模型无法察觉这些修改,因为一旦怀疑被篡改,模型行为可能会发生改变。本研究探讨了近期推理模型在各种条件下检测其 CoT 干预的能力:包括在推理过程中及之后,以及当预填充自身或其他模型的 CoT 时。研究发现:(i) 模型的检测准确率仅略高于随机水平;(ii) 模型难以识别 CoT 被修改的具体方式;(iii) 模型检测自身 CoT 变化与其他模型 CoT 变化的能力相当。

AI 推荐理由

论文核心研究推理模型对思维链(CoT)干预的检测能力,直接涉及推理机制的鲁棒性与自我感知。

研究机构
约翰霍普金斯大学
论文信息
作者 Sathvik Napa, Utkarsh Singh, Chengyuan Xue, Miriam Wanner, William Walden
发布日期 2026-06-20
arXiv ID 2606.22085
相关性评分 9/10 (高度相关)