摘要
本文揭示大语言模型在电子健康记录(EHR)问答中的系统性失败模式:所需推理步骤越多,错误率越高。基于 Transformer 组合性限制理论,作者提出预设的“跳数”分类法作为失败预测指标。通过对 313 个临床问题及多种模型(Claude Sonnet、GPT-4o、GPT-5)的评估,发现所有模型准确率均随跳数增加而单调下降。排除上下文截断干扰后,证实该现象源于组合推理难度。扩展思维模式未显著改善此趋势,且计算消耗随跳数线性增长。该研究为临床 AI 部署的风险分层提供了理论依据。
AI 推荐理由
论文核心研究推理深度(hop count)对模型失败率的预测,直接探讨组合推理极限。
研究机构
Department of Medicine, University of California San Francisco, San Francisco, CA
Waymark, San Francisco, CA
论文信息