涌现的对齐

大型语言模型能否识别自身输出与伦理的偏差并自我修正？本文赋予模型“良知”步骤以审查其推理与输出，并利用直接偏好优化（DPO）扩展训练损失，引导模型远离非伦理内容。该技术无需外部评判者，仅依赖冻结的自身副本，适用于训练、微调及对抗提示等场景。实验表明，在代码黑客情境下，单一高层内省问题即可驱动模型实现从“涌现错位”到“涌现对齐”的转变，培养出符合伦理的模型。