摘要
将视觉 - 语言模型扩展为视觉多智能体系统面临两大挑战:通信拓扑在推理前固定,无法感知视觉内容与查询上下文;代理推理能力在部署期间保持静态。本文提出 SkillGraph 框架,联合进化代理专长与通信拓扑。该框架利用多模态图变压器编码视觉令牌、指令语义及活跃技能嵌入,预测基于查询的协作图,实现动态信息流。同时,技能设计器从失败案例中提炼启发式规则,构建自我进化的多模态技能库。更新后的技能嵌入反馈至模型,使拓扑随能力提升自适应调整。实验表明该方法在多个基准测试中均取得一致改进。
AI 推荐理由
论文核心提出自我进化框架,动态优化代理技能与协作拓扑,解决静态部署问题。
研究机构
National University of Singapore, Singapore
Technical University of Munich, Munich, Germany
Zhejiang University, China
论文信息