摘要
本文提出 ARBITER，一种新颖的大语言模型护栏框架。其核心创新包括：(i) 双假设推理，即在做出安全决策前显式考虑提示的安全与不安全两种解释；(ii) 多组件监督微调，通过分解输出逻辑组件并加权以提升训练效率。该方法采用低成本的自生成推理轨迹策略及 LoRA 参数高效微调，在三个安全基准测试中优于现有昂贵方法，并提供可解释的证据短语解释，显著提升了域外评估性能。
AI 推荐理由
论文提出双假设推理框架，核心机制是显式推理安全与不安全解释，属于推理能力研究。
研究机构
Department of Computer Science, University of Arizona, USA
论文信息