巴勒斯坦伯利兹大学 发布 Konooz 数据集, 应用在 阿拉伯方言、命名实体识别 领域

巴勒斯坦伯利兹大学 本次发布的数据集 Konooz, Konooz是一个新颖的多维度命名实体识别（NER）语料库，旨在解决阿拉伯方言在NLP任务中的低资源问题。该语料库由伯利兹大学、哈马德·本·哈利法大学和巴勒斯坦理工大学-卡多里的研究人员创建，涵盖了10个领域和16种不同的阿拉伯方言，共计160个独立语料库。语料库包含约777k个标记，经过人工收集和标注，标注了21种实体类型。该语料库对于基准测试跨领域和跨方言的NER模型非常有用，并且已经通过使用Konooz对四个阿拉伯NER模型进行基准测试来展示其价值。此外，该语料库还用于深入分析不同领域和方言之间的词汇相似性，揭示了语言变体对模型性能的影响。Konooz是一个开源数据集，可供公众在https://sina.birzeit.edu/wojood/#download上访问。

查看Konooz

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。