BreastGPT：面向乳腺癌临床全流程的多模态大语言模型

乳腺癌临床管理涵盖筛查、诊断和治疗规划，需跨越不同成像模态进行多模态推理。现有医疗多模态大模型常受限于数据稀缺与任务单一，难以支持工作流级推理。本文提出 BreastStage 数据集及基准 BreastStage-Bench，并构建 BreastGPT 模型。该模型采用双分支视觉编码器与概念保持令牌压缩技术，桥接放射学与病理学尺度差异。实验表明，BreastGPT 在多项临床任务中优于通用及专用模型，证实了工作流对齐数据与跨尺度建模的重要性。