摘要
多模态大语言模型虽具备感知与推理能力,但常忽视结构化关系以进行高效目标导航。为此,本文提出“场景图思维”(SaGe)新范式,通过显式场景图表示实现细粒度结构化视觉推理。首先构建自动化数据引擎,将扁平图文数据转化为层级实体为节点、视觉关系为边的场景图,并采样生成 12 万条高质量推理轨迹。随后引入两阶段图对齐后训练策略:监督微调内化结构化推理,强化微调则提出节点代理图奖励以巩固高效图探索。实验表明,该方法在八个多模态基准测试中显著提升细粒度感知与推理性能。
AI 推荐理由
论文提出场景图思维范式,核心在于增强多模态模型的结构化视觉推理能力。
研究机构
Equal contribution, Corresponding author, Tencent Youtu Lab, Shanghai, China
论文信息