摘要
本文提出 GDP.pdf 基准,旨在评估多模态模型在真实专业 PDF 文档(如临床指南、建筑图纸)中的落地推理能力。该基准由领域专家构建,包含需跨文本提取、图表理解及空间推理等复杂能力的问答对。评估显示,当前最先进模型通过率极低,主要错误源于表格错位、图表误读及忽略脚注等推理缺陷,揭示了现有模型在处理专业文档深层逻辑时的严重不足。
AI 推荐理由
论文核心是评估多模态模型在专业文档中的落地推理能力,直接对应 reasoning 主题。
研究机构
Surge AI
论文信息