The University of Manchester 发布 DRIVELHUB 数据集, 应用在 语言模型评估、语义理解 领域

The University of Manchester 本次发布的数据集 DRIVELHUB, DRIVELHUB是一个评估大型语言模型（LLM）理解“深度无意义”语言现象的基准数据集。数据集包含超过1200个经过精心挑选的例子，涵盖了英语、普通话、西班牙语、法语、日语和韩语。每个样本都标注了其试图传达的潜在信息。数据集的创建过程非常严格，每个候选示例都经过多轮独立审查和深入讨论。该数据集旨在评估LLM在理解和推理不同层面的“深度无意义”语言方面的能力，为开发具有更高社会和语义理解能力的智能系统提供重要参考。

查看DRIVELHUB

关于 The University of Manchester , 曼彻斯特大学是一所位于英国英格兰曼彻斯特的公立研究型大学，是英国著名的红砖大学之一，也是罗素集团成员之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。