马克斯·普朗克软件系统研究所 发布 FreebaseLFC, NELLLFC, WikiLFC 数据集, 应用在 逻辑推理、事实检查 领域

马克斯·普朗克软件系统研究所 本次发布的数据集 FreebaseLFC, NELLLFC, WikiLFC, FreebaseLFC、NELLLFC和WikiLFC是三个用于评估大型语言模型（LLMs）在逻辑事实检查任务中逻辑一致性的数据集。这些数据集分别来源于Freebase、NELL和WikiKG90Mv2知识图谱，包含了大量的实体及其关系。数据集通过将知识图谱中的三元组转换为适合LLMs输入的（事实，上下文）对，用于测试LLMs在处理复杂逻辑查询时的表现。创建过程涉及从知识图谱中提取数据并进行格式转换，旨在解决LLMs在复杂逻辑查询中的逻辑一致性问题，特别是在事实检查和逻辑推理领域。

查看FreebaseLFC, NELLLFC, WikiLFC

关于 马克斯·普朗克软件系统研究所 , 马克斯·普朗克软件系统研究所是马克斯·普朗克学会下属的一个研究机构，专注于软件系统领域的研究，涵盖从基础理论到应用技术的广泛范围。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。