香港科技大学 发布 CLIMATEVIZ 数据集, 应用在 气候科学、模型评估 领域

香港科技大学 本次发布的数据集 CLIMATEVIZ, CLIMATEVIZ是一个基于真实世界、专家审阅的科学图表的科学事实核查大型基准数据集。该数据集由49,862个声明与2,896个可视化图表配对组成，每个都标记为支持、反驳或信息不足。数据集包含结构化知识图解释，用于捕获统计模式、时间趋势、空间比较和因果关系。数据集由来自六个受尊敬的开放领域气候来源的2,896个不同的科学图表组成，每个图表都伴随着元数据。这些图表涵盖了诸如温度异常、CO2浓度、降水趋势和海平面上升等主题。为了构建CLIMATEVIZ，我们在公民科学平台Zooniverse上启动了一个大规模项目，确保科学素养的注释。每个图表都被六个贡献者独立注释，产生的声明由两个领域专家审查和验证，以确保正确性和质量。我们利用CLIMATEVIZ作为诊断基准，评估各种最先进的模型在零样本和上下文学习方面的能力，包括开源和闭源语言模型以及基于图表的视觉语言模型。综合实验表明，当需要进行统计推理时，所有模型在验证科学图表上的声明方面都存在困难。

查看CLIMATEVIZ

README 内容： 

关于 香港科技大学 , 香港科技大学（HKUST）是一所位于中国香港的国际化研究型大学，以其在科学研究和创新教育领域的卓越表现而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。