大语言模型中可扩展的令牌级幻觉检测

大语言模型在推理密集型任务中常产生看似连贯但包含逻辑缺陷的幻觉。针对现有步级分析方法粒度粗、扩展性差的问题，本文提出 TokenHD，一种用于训练令牌级幻觉检测器的整体流程。该方法包含可扩展的数据合成引擎及重要性加权训练策略，无需预定义步骤分割即可直接在自由文本中识别幻觉。实验表明，小型检测器性能显著超越大型推理模型，且表现随模型规模一致提升，具备良好的跨域泛化能力。