摘要
现代大语言模型在复杂临床案例基准测试中诊断准确率达 60-70%，但仅凭准确率无法区分稳定的临床 grounded 推理与模式匹配。本文引入临床推理图，利用包含 5 种节点和 7 种边的领域本体，从自由文本诊断轨迹中提取结构化图表示。通过对五个模型在 50 个案例中的 750 条轨迹进行分析，研究发现尽管模型具备诊断能力，但在相似病例间缺乏 schema 级别的推理一致性。结果表明，最终答案的准确性需辅以过程级评估，以全面衡量 LLM 的临床推理能力。
AI 推荐理由
论文核心研究 LLM 临床诊断推理的结构化评估，提出推理图方法分析推理一致性。
研究机构
Department of Oral and Maxillofacial Surgery, University of California, San Francisco, CA, USA
Department of Medicine, Division of Clinical Informatics and Digital Transformation, University of California, San Francisco, CA, USA
论文信息