摘要
大语言模型在多项医学基准测试中表现优异，但其临床推理的可靠性评估仍具挑战。存在“评估幻觉”风险，即流畅的解释可能掩盖错误的诊断。本文提出 CLExEval，一种基于渐进式信息掩码的人机协同评估框架。该框架结合 5600 条专家医师标注与 200 个罕见病例的推理轨迹，识别出三种主要失败模式：冗长偏差、隐藏知识悖论以及推理与输出不匹配。研究进一步表明，缺乏专家验证的自动化评估会显著高估模型的临床可靠性。
AI 推荐理由
论文核心聚焦于评估 LLM 的临床推理能力，深入分析推理过程中的失败模式及推理与输出的不匹配问题。
研究机构
MBZUAI
IIT Madras
Zhuohuan Xie
RARECASE-2000
Calicut Medical College
论文信息