Agent Benchmark Tool Use Geospatial Analysis API Calling
摘要

针对环境科学家在数据整理上耗时过多且缺乏对地理空间工作流 Agent 有效验证的问题,本文提出了 GeoNatureAgent Benchmark。这是首个评估 Agent 通过结构化工具调用操作生产级地理空间 API 的基准,涵盖 18 类共 93 项任务。研究评估了七种大模型在真实 API 环境下的表现,发现 Claude Sonnet 4 表现最佳,而开源模型在成本效益比上更具优势。结果揭示了模型在数值比较等推理任务上的系统性局限,并证明基于真实 API 的工具调用比通用 GIS 基准更具区分度。

AI 推荐理由

论文核心评估 Agent 通过结构化工具调用操作真实 API 的能力,属技能学习范畴。

研究机构
Universidad Católica de Ávila (UCAY) Ávila, Spain Independent Researcher Madrid, Spain Center for Geographic Analysis, Harvard University
论文信息
作者 Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika Jain
发布日期 2026-06-11
arXiv ID 2606.12821
相关性评分 9/10 (高度相关)