THINKSAFE：推理模型的自生成安全对齐

大型推理模型（LRMs）通过强化学习生成长思维链，但过度优化合规性导致其易受有害提示攻击。现有方法依赖外部教师蒸馏，却引发分布差异从而削弱原生推理能力。本文提出 ThinkSafe，一种无需外部教师的自生成对齐框架。该框架利用轻量级拒绝引导，激发模型潜在的危害识别知识，生成符合分布的安全推理轨迹。实验表明，ThinkSafe 在显著降低计算成本的同时，有效恢复了模型的安全性并保留了推理 proficiency。