摘要
针对现有视觉 - 语言模型（VLM）评估缺乏严谨推理诊断的问题，本文提出 BloomBench，这是首个基于布鲁姆分类法的双语（英阿）多模态基准。该基准通过六个认知层级系统评估模型能力。研究发现，当前最先进模型在语义理解上表现优异，但在事实回忆和创造性综合方面存在显著短板，且跨语言推理能力不足。该研究为开发更具认知对齐性和包容性的 VLM 奠定了基础。
AI 推荐理由
论文基于布鲁姆分类法系统评估 VLM 的认知推理能力，诊断其在不同推理层级的表现差异。
研究机构
University of British Columbia
Zuse School ELIZA
Qatar Computing Research Institute (QCRI)
Hamad Bin Khalifa University
论文信息