摘要
复杂图像创作常需合成、分割、编辑及组合等多步操作,要求多模态 Agent 从感知推理转向以操纵为核心的视觉创造。针对现有代理缺乏可执行图像创作轨迹监督的问题,本文提出了包含 14 万条标注轨迹的大规模数据集 CanvasCraft,以及能通过学习编排异构视觉工具的多轮交互代理 CanvasAgent。该代理先经监督微调学习推理 - 行动轨迹,再利用结合结果与过程信号的混合奖励通过 GRPO 优化。实验表明其在多工具图像创建工作流中表现卓越。
AI 推荐理由
论文核心研究多模态 Agent 如何编排和调用异构视觉工具完成复杂图像创作,属于典型的技能学习与工具使用范畴。
研究机构
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
论文信息