Multimodal Agent Tool Use Image Editing Reinforcement Learning
摘要

复杂图像创作常需合成、分割、编辑及组合等多步操作,要求多模态 Agent 从感知推理转向以操纵为核心的视觉创造。针对现有代理缺乏可执行图像创作轨迹监督的问题,本文提出了包含 14 万条标注轨迹的大规模数据集 CanvasCraft,以及能通过学习编排异构视觉工具的多轮交互代理 CanvasAgent。该代理先经监督微调学习推理 - 行动轨迹,再利用结合结果与过程信号的混合奖励通过 GRPO 优化。实验表明其在多工具图像创建工作流中表现卓越。

AI 推荐理由

论文核心研究多模态 Agent 如何编排和调用异构视觉工具完成复杂图像创作,属于典型的技能学习与工具使用范畴。

研究机构
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
论文信息
作者 Hairui Zhu, Yiying Yang, Tengjin Weng, Ziyu Lu, Xiao Yao et al.
发布日期 2026-07-06
arXiv ID 2607.05465
相关性评分 9/10 (高度相关)