摘要
现有医疗评估多使用固定场景,难以验证模型是否真正利用患者信息进行决策。为此,本文提出MedPIC-Bench基准,包含467道经专家验证的问题,结合指南遵循与配对反事实问题,以测试模型在患者信息变化时调整安全规则的能力。实验显示,所有28个LLM在反事实问题上准确率显著下降(从63.6%降至45.1%),且医学专用模型表现甚至落后于通用模型。该基准揭示了静态准确性评估的局限性,强调了条件规则应用的重要性。
AI 推荐理由
论文聚焦于LLM在药物安全推理中对患者特定信息的条件规则应用能力,通过反事实测试评估其逻辑推理的稳健性。
研究机构
香港理工大学
中山大学
论文信息