摘要
患者安全事件分诊是一项高风险任务,通常由专家手动执行。针对现有基准缺乏对基于证据的策略推理、主动信息寻求及原则性弃权能力评估的问题,本文提出 PSEBench。该方法通过“条款卡片”将监管文本转化为可审计的决策规范,结合锚点驱动实例化与闭环验证,构建了包含 5074 个案例的基准测试集。对 15 个大语言模型的评估揭示了其能力趋势,并指出了实现可靠自动化分诊的关键差距。
AI 推荐理由
论文核心评估 LLM 基于证据的策略推理能力,涉及逻辑判断与信息缺失下的决策。
研究机构
Emory University
Scale AI
Mayo Clinic
Vanderbilt University
论文信息