基于评分标准的 frontier 语言模型在专家 authored 临床推理任务上的受控比较

针对多项选择医学基准趋于饱和的现状，本文提出了一套由临床专家编写的困难评估数据集，涵盖四个专科的临床场景，并配有原子化、加权且互斥穷尽（MECE）的评分标准。研究评估了三种前沿模型，发现其存在临床优先级倒置现象：关键高危标准的通过率显著低于低风险标准，过半关键指标无模型达成。此外，验证了 LLM 自动评分器与专家标签的高度一致性。该工作旨在建立可扩展的临床推理评估流程。