摘要
统一多模态大语言模型在文本生成图像方面表现优异,但在结构感知提示遵循上仍显不足,难以保持物体数量、空间关系及布局。本文归因于结构规划与外观渲染在单一条件流中的纠缠,提出隐式视觉思维链(IV-CoT)框架。该方法将视觉条件查询分解为“结构到语义”的级联过程:结构查询首先生成潜在视觉计划,语义查询随后基于该计划渲染外观。通过引入仅训练阶段的草图监督,引导结构查询捕捉结构信息,无需推理时的中间解码。IV-CoT 在单次前向传播中实现隐式推理,在 GenEval 和 T2I-CompBench 基准上取得优越结果。
AI 推荐理由
提出隐式视觉思维链框架,核心在于解耦结构与语义的推理过程,显著提升生成质量。
研究机构
1NLPR, Institute of Automation, Chinese Academy of Sciences
2Ant Group
3The University of Hong Kong
论文信息