摘要
医学视觉语言模型在图像理解方面潜力巨大,但受限于视觉定位精度和临床解释的一致性,常出现脱离图像的“视觉幻觉”。为此,本文提出I²-Med框架,在不修改模型参数的前提下,通过视觉指导模块在文本生成时校验候选词是否得到图像支持及推理一致,并据此调整输出分数以偏好视觉 grounding 的词汇。OmniMedVQA基准实验表明,该框架能生成更具临床意义且视觉忠实的推理链,显著减少幻觉。
AI 推荐理由
论文旨在通过动态逻辑校准增强视觉引导下的推理忠实度,直接解决医疗场景中的逻辑推理与幻觉问题。
研究机构
印度理工学院因多尔分校
论文信息