LLM Safety Reasoning Distillation Safety Guardrail
摘要

针对大语言模型安全护栏在鲁棒性与效率间的权衡,本文提出 DT-Guard,采用“推理活跃训练、推理自由推断”范式。该方法在训练阶段利用推理监督,将安全判断构建为“意图 - 类别 - 安全”的渐进决策过程,并构建意图驱动数据集。此外,提出 rollout 引导的渐进式难例优化策略,通过多 rollout 一致性识别样本状态并进行针对性优化。推理时直接生成结构化标签,无需显式推理轨迹。实验表明,4B 模型在双端安全基准上平均 F1 达 0.878,优于更强的 8B 基线。

AI 推荐理由

论文核心提出“推理活跃训练”范式,利用推理监督提升模型判断力,虽推理-free 推断,但机制依赖推理。

研究机构
Ant Digital Technologies, Ant Group
论文信息
作者 He Liu, Changtao Miao, Xinjie Yang, Tianle Song, Yin Wu et al.
发布日期 2026-07-07
arXiv ID 2607.06326
相关性评分 9/10 (高度相关)