ClinHallu：用于诊断医疗多模态大模型推理中阶段性幻觉的基准

构建可信的医疗多模态大模型（MLLM）对临床决策支持至关重要。现有基准多关注数据收集，却忽视幻觉在推理过程中的起源。本文发现幻觉来源多样，包括视觉误识、知识召回错误及推理整合缺陷。为此，我们提出 ClinHallu，一个针对医疗 MLLM 推理进行阶段性幻觉诊断的基准，包含 7031 个经验证的实例，每个实例均 augmented 有分解为视觉识别、知识召回和推理整合的结构化推理轨迹。通过阶段替换干预，我们量化了修正特定阶段对最终答案的影响。此外，研究表明轨迹监督微调可有效减少阶段性幻觉。该基准为诊断和缓解医疗 MLLM 推理失败提供了细粒度测试平台。