威斯康星大学麦迪逊分校 发布 GeoAnalystBench 数据集, 应用在 地缘人工智能、空间数据分析 领域

威斯康星大学麦迪逊分校 本次发布的数据集 GeoAnalystBench, GeoAnalystBench是一个由威斯康星大学麦迪逊分校地理数据科学实验室和俄亥俄州立大学计算机科学与工程系共同开发的地缘人工智能基准数据集。该数据集包含50个基于Python的任务，这些任务源自现实世界的地缘空间问题，并由GIS专家精心验证。每个任务都与一个最低交付产品配对，评估内容包括工作流程的有效性、结构对齐、语义相似性和代码质量（CodeBLEU）。该数据集旨在评估大型语言模型在地缘空间分析工作流程和代码生成方面的能力，揭示其优势和局限性，并为地缘人工智能研究的未来发展提供可复制的框架。

查看GeoAnalystBench

README 内容： 

关于 威斯康星大学麦迪逊分校 , 威斯康星大学麦迪逊分校是美国威斯康星州的一所公立研究型大学，位于威斯康星州的首府麦迪逊市，是美国最顶尖的公立大学之一，也是世界著名的研究机构，在多个学科领域有着显著的研究成就和学术贡献。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。