科学推理 知识图谱增强 多模态大语言模型 微观领域
摘要

针对多模态大语言模型(MLLMs)在显微镜等专业领域因数据稀缺和细粒度知识编码困难导致的推理局限,本文提出 MicroWorld 框架。该框架从大规模科学图像 - 标题语料库构建多模态属性图(MAPG),无需特定领域微调即可在推理时增强 MLLM。通过提取生物医学实体与关系,并在共享嵌入空间对齐图像与实体,构建了包含约 11.1 万节点的知识图谱。实验表明,MicroWorld 在 MicroVQA 基准上将 Qwen3-VL-8B 的推理性能提升 37.5%,超越 GPT-5,证明了结构化知识对提升科学推理泛化能力的有效性。

AI 推荐理由

论文核心在于利用知识图谱增强 MLLM 在微观领域的科学推理能力,显著提升推理性能。

研究机构
上海人工智能实验室智能信息处理研究部
论文信息
作者 Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan
发布日期 2026-05-11
arXiv ID 2605.10120
相关性评分 9/10 (高度相关)