Chain-of-Thought Model Safety Mechanistic Interpretability Alignment
摘要

思维链(CoT)推理为模型监控提供了窗口,但监控依赖于输出的忠实度,即输出严格源于推理轨迹。本文识别出一种对齐张力:模型需足够忠实以便监控,同时具备鲁棒性以拒绝不安全推理。我们展示了当前大型推理模型(LRMs)中存在这种平衡,并提出解决方案。引入HazMart数据集,提出目标推理替换(TRR)技术直接干预推理链。分析显示高忠实度模型往往难以拒绝不安全推理,而高鲁棒性模型则忠实度较低。通过机制分析和表示引导,可独立增强安全方向,提升安全行为而不损害基础能力。

AI 推荐理由

论文核心探讨思维链推理的忠实度与安全性的张力,直接涉及LLM推理机制的内部表征与评估。

研究机构
University of Göttingen Landeskriminalamt NRW
论文信息
作者 Dominik Meier, Luca Joshua Francis, Marco Bernhard Kaiser, Terry Ruas, Jan Philip Wahle et al.
发布日期 2026-08-04
arXiv ID 2608.03745
相关性评分 9/10 (高度相关)