摘要
针对现有基准无法反映电子健康记录(EHR)分析复杂性的问题,本文提出 EHR-Complex,一个基于 MIMIC-IV 的大规模交互式临床数据库推理基准。该基准涵盖约 5.2 万个任务,要求代理在沙箱环境中执行 SQL 或 Python 代码以完成复杂的纵向多表聚合与组合推理。评估显示顶级模型准确率仅 62.3%,且存在显著的随机脆弱性。细粒度分析揭示了 SQL 逻辑错误、医学代码查找失败及语义误解三大主要失败模式,为临床代理的鲁棒推理研究提供了严格测试床。
AI 推荐理由
论文核心聚焦于复杂临床场景下的推理能力评估,涉及逻辑与组合推理。
研究机构
浙江大学
论文信息