Multimodal Generation Agent Framework Memory Architecture Skill Learning
摘要

针对多模态生成模型在复杂指令及专用任务上的局限,本文提出 GEMS 框架。该框架基于三大核心组件:引入结构化多代理循环以迭代优化生成质量;构建持久性轨迹级记忆,分层存储事实状态与经验摘要,提供全局优化视角并减少冗余;提供可扩展的领域技能库按需加载。实验表明,GEMS 在多项任务中显著超越基线,甚至使轻量级模型性能优于最先进模型,证明了代理架构扩展模型能力的有效性。

AI 推荐理由

论文核心提出包含记忆与技能的代理框架,记忆机制是关键组件。

研究机构
Shanghai AI Laboratory Nanjing University Shanghai Jiao Tong University
论文信息
作者 Zefeng He, Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu et al.
发布日期 2026-03-30
arXiv ID 2603.28088
相关性评分 9/10 (高度相关)