Benchmark Patient Safety Policy Reasoning LLM Evaluation
摘要

患者安全事件分诊是一项高风险任务,通常由专家手动执行。针对现有基准缺乏对基于证据的策略推理、主动信息寻求及原则性弃权能力评估的问题,本文提出 PSEBench。该方法通过“条款卡片”将监管文本转化为可审计的决策规范,结合锚点驱动实例化与闭环验证,构建了包含 5074 个案例的基准测试集。对 15 个大语言模型的评估揭示了其能力趋势,并指出了实现可靠自动化分诊的关键差距。

AI 推荐理由

论文核心评估 LLM 基于证据的策略推理能力,涉及逻辑判断与信息缺失下的决策。

研究机构
Emory University Scale AI Mayo Clinic Vanderbilt University
论文信息
作者 Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt et al.
发布日期 2026-06-03
arXiv ID 2606.05463
相关性评分 8/10 (高度相关)