爱丁堡大学 发布 HPLT v2 数据集, 应用在 自然语言处理、机器翻译 领域

爱丁堡大学 本次发布的数据集 HPLT v2, HPLT v2是由爱丁堡大学等机构创建的高质量多语言单语和并行语料库集合。该数据集的单语部分包含193种语言的8万亿tokens，而并行数据包含3800万句对，覆盖51种语言与英语的配对。数据集通过稳健的构建管道确保质量，并通过广泛的分析和下游评估来验证数据。HPLT v2致力于为高性能语言技术提供训练数据，其应用领域包括但不限于自然语言处理、机器翻译等。

查看HPLT v2

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。