摘要
建立模型预测与支持其视觉证据间的明确联系,对多模态推理的透明度和可靠性至关重要,但现有评估未强制此对齐。本文提出 VISTAQA 基准,联合评估自由形式答案正确性与像素级证据定位。该基准包含 1157 个专家 curated 样本,涵盖六类任务及视觉域,要求模型不仅回答正确,还需提供精确分割掩码。此外,引入 GROVE 统一指标,通过几何平均结合文本准确率与定位质量,揭示当前最强系统在答案准确性与视觉证据对齐间存在显著差距。
AI 推荐理由
论文聚焦多模态推理中的证据对齐,评估视觉问答的推理透明度与可靠性。
研究机构
University of Waterloo
Stanford University
NVIDIA
论文信息