摘要
临床诊断评估不仅应关注模型能否提供正确诊断,还需反映临床实践现实,包括多模态信息的渐进披露、诊断假设的动态更新及临床推理的持续完善。然而,现有对多模态大语言模型的评估多依赖单轮或孤立任务,难以捕捉真实临床诊断的复杂性。为此,我们开发了 ClinMM-Bench,这是迄今为止最大的多轮多模态临床诊断评估基准,涵盖八个专科的 1089 个挑战性真实病例和 3760 张医学图像。通过两级评估框架系统评测了 15 个代表性模型,结果显示专有模型整体准确率最高,但完全正确诊断比例有限;在推理质量方面,模型虽能识别合理方向,但在生成可靠推理上仍有显著局限,并总结出五种典型失败模式。
AI 推荐理由
论文核心评估多模态临床诊断推理质量,深入分析推理失败模式,属推理能力核心研究。
研究机构
Center for Biomedical Data Science, Duke-NUS Medical School, Singapore, Singapore
Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School, Singapore, Singapore
Duke-NUS Medical School, Singapore, Singapore
Department of Population Health Sciences, Weill Cornell Medicine, New York, NY, USA
System Engineering, College of Engineering, Cornell University, Ithaca, NY, USA
论文信息