多模态大语言模型 临床诊断 推理评估 医疗 AI
摘要

临床诊断评估不仅应关注模型能否提供正确诊断,还需反映临床实践现实,包括多模态信息的渐进披露、诊断假设的动态更新及临床推理的持续完善。然而,现有对多模态大语言模型的评估多依赖单轮或孤立任务,难以捕捉真实临床诊断的复杂性。为此,我们开发了 ClinMM-Bench,这是迄今为止最大的多轮多模态临床诊断评估基准,涵盖八个专科的 1089 个挑战性真实病例和 3760 张医学图像。通过两级评估框架系统评测了 15 个代表性模型,结果显示专有模型整体准确率最高,但完全正确诊断比例有限;在推理质量方面,模型虽能识别合理方向,但在生成可靠推理上仍有显著局限,并总结出五种典型失败模式。

AI 推荐理由

论文核心评估多模态临床诊断推理质量,深入分析推理失败模式,属推理能力核心研究。

研究机构
Center for Biomedical Data Science, Duke-NUS Medical School, Singapore, Singapore Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School, Singapore, Singapore Duke-NUS Medical School, Singapore, Singapore Department of Population Health Sciences, Weill Cornell Medicine, New York, NY, USA System Engineering, College of Engineering, Cornell University, Ithaca, NY, USA
论文信息
作者 Rui Yang, Weihao Xuan, Yi Lin, Zhuhan Bao, Jonathan Chong Kai Liew et al.
发布日期 2026-07-28
arXiv ID 2607.25933
相关性评分 9/10 (高度相关)