纽约大学阿布扎比分校 发布 ARAPROPWIKID3K 数据集, 应用在 阿拉伯语自然语言处理、专有名词处理 领域

纽约大学阿布扎比分校 本次发布的数据集 ARAPROPWIKID3K, ARAPROPWIKID3K数据集是一个包含3362对阿拉伯维基百科专有名词及其英文对应解释的数据集，其中专有名词已经经过人工标注，带有完整的词尾变化和词干化信息。数据集旨在解决阿拉伯维基百科中常见的问题，即专有名词的发音和解释存在歧义，因为阿拉伯语的正字法通常省略了变音符号。该数据集为阿拉伯语自然语言处理（NLP）中的三个关键任务——转写、变音和词干化——提供了一个基准，有助于研究这些任务的交集。数据集的内容涵盖了各种来源的专有名词，包括人名、地名和组织名，并反映了基于解释的多个有效变音。该数据集的创建过程包括从ARAPROP数据集中随机选择3,000个独特的阿拉伯语专有名词进行人工标注，并形成了3,362个阿拉伯语-英文解释对。数据集的应用领域包括提高阿拉伯语NLP模型的性能，特别是在专有名词的转写和变音方面，以及促进对阿拉伯语专有名词资源的研究。

查看ARAPROPWIKID3K

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。