摘要
思维链(CoT)推理为模型监控提供了窗口,但监控依赖于输出的忠实度,即输出严格源于推理轨迹。本文识别出一种对齐张力:模型需足够忠实以便监控,同时具备鲁棒性以拒绝不安全推理。我们展示了当前大型推理模型(LRMs)中存在这种平衡,并提出解决方案。引入HazMart数据集,提出目标推理替换(TRR)技术直接干预推理链。分析显示高忠实度模型往往难以拒绝不安全推理,而高鲁棒性模型则忠实度较低。通过机制分析和表示引导,可独立增强安全方向,提升安全行为而不损害基础能力。
AI 推荐理由
论文核心探讨思维链推理的忠实度与安全性的张力,直接涉及LLM推理机制的内部表征与评估。
研究机构
University of Göttingen
Landeskriminalamt NRW
论文信息