比勒费尔德大学 发布 CompoST 数据集, 应用在 自然语言处理、知识图谱 领域

比勒费尔德大学 本次发布的数据集 CompoST, CompoST数据集是一个用于测试大型语言模型（LLMs）在问答链接数据（QALD）场景下解读问题的组合系统性能力的基准。该数据集基于DBpedia中的图模式生成，共包含三个难度不同的数据集，用于测试LLMs解读结构复杂问题的能力。数据集通过控制方式创建，以评估LLMs在理解原子组成部分的情况下，解读复杂问题的能力。CompoST数据集旨在解决LLMs在系统性解读问题和将其映射到SPARQL查询方面的挑战。

查看CompoST

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。