新加坡南洋理工大学 发布 taggedPBC 数据集, 应用在 自然语言处理、语言类型学 领域

新加坡南洋理工大学 本次发布的数据集 taggedPBC, taggedPBC数据集是一个大规模自动标注的平行语料库，包含了来自超过1500种语言的超过1800个句子，涵盖了133个语系和111个孤立语言。该数据集的标注准确性与现有的SOTA标注器（如SpaCy、Trankit）以及手工标注的语料库（如Universal Dependencies Treebanks）相匹配。此外，从该数据集中衍生出的N1比例与三个类型学数据库（WALS、Grambank、Autotyp）中的词序分类相关联，使得基于该特征训练的高斯朴素贝叶斯分类器能够准确地识别那些数据库中没有的语言的基本词序。尽管还需要进一步扩展和发展该数据集，但taggedPBC为基于语料库的跨语言研究迈出了重要的一步，并通过GitHub供研究和合作使用。

查看taggedPBC

README 内容： 

关于 新加坡南洋理工大学 , 新加坡南洋理工大学是新加坡的一所顶尖研究型大学，以其在工程、商业和科技领域的卓越教育和研究而著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。