幻觉自我博弈：通过进化生成器引导强化检测器

识别大语言模型生成内容中的忠实性幻觉因高质量标注数据稀缺而极具挑战。现有方法依赖静态生成器合成训练数据，限制了检测器的迭代优化。本文提出“幻觉自我博弈”（HSP）框架，使检测器能借助进化的生成器实现自举提升。该框架包含源自同一基座模型的两种角色：评估输出忠实性的检测器，以及生成更难被察觉的幻觉响应的生成器。检测器先在人工标注数据上微调，随后作为奖励模型，利用基于 AI 反馈的强化学习（RLAIF）训练生成器；进化后的生成器再合成幻觉数据，通过基于规则的强化学习进一步优化检测器。实验表明，该框架能在无外部监督下，逐步提升小模型性能至媲美甚至超越先进大模型水平。