Leibniz University Hannover 发布 MoVoC 数据集, 应用在 自然语言处理、形态学 领域

Leibniz University Hannover 本次发布的数据集 MoVoC, MoVoC 数据集是针对低资源、形态复杂语言（如使用 Geez 脚本的语言）构建的，旨在解决基于子词的标记化方法无法保留形态边界的问题。该数据集包括四种 Geez 脚本语言的形态标注数据，以及其中两种语言的形态感知词汇表。MoVoC-Tok 是一种将监督形态分析集成到子词词汇中的标记器，结合基于词素和字节对编码 (BPE) 的标记，以保留形态完整性并保持词汇意义。该数据集的发布旨在支持低资源、形态丰富的语言的研究。

查看MoVoC

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。