摘要
图基础模型(GFMs)作为图学习的前沿方向,旨在实现跨任务的可迁移表示。然而,GFMs受到内存瓶颈的限制,其试图将知识编码到模型参数中,导致语义容量受限、信息丢失严重以及图表示与知识纠缠,影响了模型的可扩展性和可解释性。本文提出RAG-GFM,一种基于检索增强生成的图基础模型,通过将知识从参数中卸载并补充参数化学习来缓解这一问题。为外部化图知识,构建了一个双模态统一检索模块,包括基于前缀结构文本的语义存储和基于中心性基元的结构存储。为保留异构信息,设计了双视角对齐目标,对比两种模态以捕捉内容和关系模式。为实现高效的下游适应,采用上下文增强方法,利用检索到的文本和基元作为上下文证据丰富支持实例。在五个基准图数据集上的实验表明,RAG-GFM在跨领域节点和图分类任务中始终优于13种最先进的基线方法,表现出优越的有效性和效率。
AI 推荐理由
论文核心解决GFMs中的in-memory瓶颈问题,提出RAG-GFM通过检索增强生成机制优化记忆存储与使用。
论文信息