我真的知道吗？学习事实性自我验证以减少幻觉

事实幻觉仍是大型语言模型的核心挑战。现有方法多依赖外部事后验证或微调期间的不确定性映射，常导致过度保守。本文提出 VeriFY，一种训练时框架，通过基于一致性的自我验证教导 LLM 推理事实不确定性。该框架利用结构化验证轨迹，引导模型生成初始答案、构建并回答探测性验证查询、做出一致性判断，进而决定作答或弃权。为解决增强轨迹可能强化幻觉的风险，引入了阶段级损失掩码策略。实验表明，VeriFY 在多个模型族中显著降低了幻觉率，同时保持了较高的召回率。