摘要
针对多模态大模型在临床应用中因推理幻觉导致结论与影像证据冲突的问题，本文提出一种无需训练的证据注入框架。该方法利用 MedSAM 获取区域先验，通过 ROI 引导激活调制校准视觉感知轨迹，并将解剖坐标映射为离散语义令牌作为可验证外部记忆以锚定文本推理轨迹。此外，引入任务感知动态路由器平衡感知 grounding 与语言流畅性。实验表明，该框架在多个医疗基准上显著优于基线，有效提升了准确率并大幅减少了幻觉。
AI 推荐理由
论文核心在于通过解剖证据约束视觉感知与文本推理轨迹，解决多模态推理中的幻觉问题。
研究机构
Hangzhou University of Science and Technology, Wuhan, China
Imperial Global Singapore, Imperial College London, London, United Kingdom
Nanyang Technological University, Singapore, Singapore
National University of Singapore, Singapore, Singapore
Anhui University, Hefei, China
论文信息