摘要
文本到图像模型在处理需复杂语义理解及外部知识整合的开放世界任务时存在局限。现有方法通常采用固定工作流或仅部分由智能体控制,导致推理、工具调用与生成缺乏协调。本文提出ToolArtist,通过后训练统一多模态模型实现完全智能体化图像生成。该模型在单一策略下动态编排推理、外部工具使用及原生图像生成。研究构建了适配UMM的智能体强化学习基础设施,并引入RAD-GRPO算法联合优化意图与质量奖励。实验表明,全智能体控制流程显著优于固定管道或部分控制方法。
AI 推荐理由
论文核心在于构建具备工具使用能力的智能体,重点解决外部工具调用与生成的统一策略问题。
研究机构
中国人民大学
香港中文大学(深圳)
新加坡国立大学
都柏林城市大学
论文信息