多伦多大学 发布 CoLoTa 数据集, 应用在 自然语言处理、知识图谱 领域

多伦多大学 本次发布的数据集 CoLoTa, CoLoTa数据集是由多伦多大学研究者创建的，包含3300个问题回答和声明验证任务的问题，涵盖了广泛的常识推理技能。数据集的问题是通过改写StrategyQA和CREAK数据集中的问题而形成的，将其中著名实体替换为Wikidata知识图谱中的不太知名的实体。CoLoTa不仅可作为评估大型语言模型在长尾实体上常识推理能力和抗幻觉性的新基准，也可作为知识图谱问答的新基准，以促进将事实和常识知识融入知识图谱问答方法的研究。

查看CoLoTa

README 内容： 

关于 多伦多大学 , 多伦多大学是加拿大一所世界知名的公立研究型大学，以其卓越的教学和科研实力在全球享有盛誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。