摘要
针对视觉语言模型在部署中面临的高延迟、静态架构及基准测试缺失问题,本文提出 VisualClaw,一种自进化的多模态智能体。该框架采用混合编码策略,通过级联门控过滤低信息量帧并压缩文本技能库以降低成本;同时引入技能进化机制,利用检索记忆引导智能体从失败中学习并动态更新技能库。实验表明,该方法在显著降低 API 成本的同时提升了多个视频问答基准的准确率,并构建了包含复杂工作空间交互的新基准 VisualClawArena 验证其有效性。
AI 推荐理由
论文核心提出技能进化机制,通过失败学习更新技能库,实现代理自我改进。
研究机构
UC Santa Cruz
UNC-Chapel Hill
Google
UC Berkeley
论文信息