摘要
地理空间推理涉及对现实实体进行距离、包含关系等空间关系的计算,是导航和物流的核心,但大型语言模型(LLMs)尽管存储了大量地理知识,仍难以胜任所需的几何和拓扑计算。现有基准测试存在合成数据多、规模小、单语言且地理覆盖控制有限等问题。本文提出MultiGlobeQA,这是一个包含46,060个问答对的多语言基准测试,涵盖14种空间函数族和15种答案格式,基于三个知识图谱提供执行级真值。该基准通过按收入密度分层的采样覆盖了201个国家/地区,并提供英语及16种其他语言的平行问题。实验表明,LLM在处理网格索引和形状计算任务时表现崩溃,而拓扑关系和方向判断表现较好。检索和工具使用虽能带来显著提升,但在即使提供黄金事实的情况下,性能仍低于三分之二,表明计算而非知识访问是瓶颈。此外,模型在低收入地区的表现较差,且黄金事实未能缩小这一差距。
AI 推荐理由
论文核心评估LLM在地理空间推理(几何/拓扑计算)上的能力,直接对应推理主题。
研究机构
Data and Web Science Group, University of Mannheim, Germany
论文信息