摘要
大型视觉语言模型在胸部 X 光解读中展现出潜力，但其临床效用受限于模型输出与放射科医生推理之间的差距。现有系统多优化语义信息，却忽视了专家检查医学图像的视觉模式及标准诊断流程。本文提出 GazeX，一种利用放射科医生眼动数据作为行为先验的视觉语言模型，以模拟专家诊断推理。通过将注视轨迹和固定模式融入预训练，GazeX 学会了遵循放射科医生注意力的时空结构，并按临床意义序列整合观察结果。实验表明，GazeX 在报告生成、疾病定位及视觉问答任务中，能产生更准确、可解释且符合专家习惯的输出，并提供可验证的证据工件，促进了安全的人机协作。
AI 推荐理由
论文核心在于模仿放射科专家的推理过程，通过眼动数据建模诊断逻辑，显著提升模型的可解释性与推理一致性。
研究机构
Bioengineering Department and Imperial-X, Imperial College London, London W12 7SL, UK
College of physics and information engineering, Fuzhou University, Fuzhou, 350108, China
Department of Surgery and Cancer, Imperial College London, London W12 0NN, UK
National Heart and Lung Institute, Imperial College London, London SW7 2AZ, UK
Cardiovascular Research Centre, Royal Brompton Hospital, London SW3 6NP, UK
School of Biomedical Engineering & Imaging Sciences, King's College London, London WC2R 2LS, UK
论文信息