摘要
基于推理的安全模型虽能提升大语言模型的安全性,但为每次交互解码显式理由成本高昂。尽管潜在推理方法通过将推理移至连续状态来减少令牌生成,但在安全审核领域仍缺乏探索及部署时的检查接口。本文提出LatentGuard,一种高效且可检查的安全框架,将连续潜在推理引入安全模型。该框架使用分阶段课程学习,逐步将任务对齐的文本理由压缩为紧凑的潜在状态,直接从连续表示中预测安全判决。为保持可检查性,隔离的辅助解码器按需生成紧凑的审计工件,使理由生成脱离标准推理路径。实验表明,LatentGuard-8B在提升F1分数的同时,将关键路径推理成本从268.56个生成的理由令牌降至1.60个潜在推理令牌,展示了通往可部署LLM安全防御的高效且可检查的路径。
AI 推荐理由
论文核心研究将显式推理压缩为潜在状态(Latent Reasoning),属于LLM推理机制与架构的创新。
研究机构
厦门大学
中国科学技术大学
论文信息