格罗宁根大学 发布 ONTOURL 数据集, 应用在 自然语言处理、本体知识 领域

格罗宁根大学 本次发布的数据集 ONTOURL, ONTOURL是一个全面的基准数据集，旨在评估大型语言模型在处理本体知识方面的能力。该数据集由来自8个领域的40个本体中生成的58,981个问题组成，涵盖了15个任务，旨在评估模型在理解、推理和学习三个维度的能力。这些任务包括概念理解、结构知识、逻辑推理、结构构建和概念对齐等方面。ONTOURL的数据来源包括科学、健康医疗、商业金融、地球环境、艺术娱乐、食品农业、人类社会和法律等领域。数据集的创建过程涉及从本体中提取元素，形成问题，添加难度，以及控制数据质量等步骤。该数据集为评估LLM在处理结构化符号知识方面的能力提供了一个重要的基准。

查看ONTOURL

关于 格罗宁根大学 , 格罗宁根大学是荷兰的一所综合性大学，成立于1614年，是欧洲历史最悠久的大学之一。它位于荷兰北部的格罗宁根市，以其高质量的教育和研究项目而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。