摘要
针对现有视觉 - 语言模型基准静态化导致的时效性滞后、数据污染及维护成本高等问题，本文提出了 MMBench-Live，这是一个由多智能体驱动自动化流水线构建的持续进化多模态基准。该框架将基准进化视为任务导向的数据集构建过程，整合了结构化规范、反馈控制的实时数据采集及可验证问答生成。为保持跨版本可比性，引入了分布一致的更新策略。实验表明，该基准在保持模型排名稳定性的同时，显著降低了记忆信号，为多模态基准的可持续进化提供了可扩展的新范式。
AI 推荐理由
论文核心提出基于多智能体的持续进化基准构建框架，直接对应自我进化主题。
研究机构
Beijing University of Posts and Telecommunications, Beijing, China
论文信息