摘要
当前推理模型利用思维令牌提升性能,普遍假设其“深思熟虑”模式能增强对齐与安全性。然而,本文通过对多款前沿开源推理模型的实证研究发现,拒绝或合规的最终结果在首个令牌生成前即已高度可预测,思维过程更像前缀补全而非真正的审慎修正。现有安全干预措施往往导致过度拒绝,却抑制了稀缺的 deliberation 信号。结果表明,当前推理模型的安全行为缺乏真正的深思熟虑,亟需新方法诱导真实的安全审议。
AI 推荐理由
论文核心研究推理模型中思维链(thinking tokens)的机制及其对安全性的实际影响。
研究机构
Princeton Language and Intelligence, Princeton University
论文信息