摘要
知识图谱补全(KGC)旨在从非完整结构中推断缺失实体或关系,已发展为关联文本与图像等多模态的多模态知识图谱补全(MMKGC)。传统嵌入方法在证据有限时表现不佳,而基于大语言模型的方法常因线性化结构而忽略拓扑和视觉信息。为此,本文提出ViSR-KGC,一种结合表示学习、视觉语言模型(VLM)常识及局部多模态证据的视觉子图推理方法。该方法提取紧凑的子图并转化为可视化图像,结合实体图像、文本描述及候选答案生成统一提示,使VLM能准确推断缺失实体。
AI 推荐理由
论文核心在于利用视觉子图推理解决知识图谱补全,直接涉及多模态逻辑推理机制。
研究机构
Institute of Software, Chinese Academy of Sciences, Beijing, China
University of Chinese Academy of Sciences, Beijing, China
CITIC Securities, Beijing, China
zhuaq@ios.ac.cn
School of Artificial Intelligence, Beijing Normal University, Beijing, China
论文信息