摘要
针对现有大模型基准构建成本高、复用难及性能饱和快等问题，本文提出 Benchmark Agent，一个用于自动构建基准的全自主智能体系统。该框架协调了从用户查询分析、子任务设计到数据标注和质量控制的完整流程。实验表明，该系统能以极少人工干预生成高质量基准样本，涵盖文本理解、多模态及领域推理等场景。持续评估揭示了当前模型在特定领域推理任务上的不足，证明了动态演进基准对社区的重要价值。
AI 推荐理由
论文核心是构建基准的 Agent 系统，其关键能力在于自主规划从查询分析到数据标注的完整流程。
研究机构
The Chinese University of Hong Kong
MMLab, The Chinese University of Hong Kong
CPIL under InnoHK
Shenzhen Loop Area Institute
Shandong University
Huawei Technologies
论文信息