MetaRA：基于多模态大语言模型的视觉问答系统的 metamorphic 鲁棒性评估

视觉问答（VQA）作为典型的多模态任务，是评估多模态大语言模型（MLLM）推理能力的关键基准。然而，现有评估多依赖静态数据集和准确率指标，难以捕捉模型的鲁棒性、一致性和泛化能力。受蜕变测试启发，本文提出 MetaRA 框架，利用蜕变关系系统性地探测 MLLM-based VQA 系统的漏洞。该框架生成受控的图像 - 问题输入变体，在多样条件下评估模型。实验揭示了模型对语言扰动敏感、过度依赖表面视觉线索及多模态推理深层缺陷等失败模式，证明 MetaRA 比传统指标提供更丰富的诊断洞察。