摘要
超声心动图是心血管诊断的关键无创成像手段,解读需综合多视图证据以识别异常并生成结构化报告。针对现有模型缺乏显式诊断推理及空间解剖依据的问题,本文提出 EchoSonar-R,一种多视图推理增强的视觉 - 语言模型。该模型结合时空视频编码器与结构感知心脏检测器,提供空间锚定的解剖线索以增强跨视图推理的可解释性。采用两阶段训练:先基于推理标注数据进行监督微调,再利用组相对策略优化(GRPO)在统一强化学习框架下对齐分类与报告生成任务。实验表明,该模型在私有数据集和公共基准上显著提升了分类准确率与临床忠实度,并生成了基于多视图视觉证据的可解释推理轨迹。
AI 推荐理由
论文核心提出多视图推理模型,显式构建诊断推理链与可解释证据,属推理机制研究。
研究机构
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE
论文信息