WMT 发布 Multilingual Benchmark 数据集, 应用在 机器翻译、多语言处理 领域

WMT 本次发布的数据集 Multilingual Benchmark, 该数据集是一个多样化的多语种数据集，用于机器翻译任务，涵盖了与英语配对的15种语言，每种语言的训练样本数量不等，范围从15.5万到5100万不等。数据集包含了一个共享的64K BPE词汇表，并使用语言ID标记来指示目标语言。

查看Multilingual Benchmark

关于 WMT , WMT（Workshop on Machine Translation）是一个国际性的机器翻译研讨会，旨在促进机器翻译领域的学术交流和技术发展。该研讨会涉及机器翻译的各个方面，包括翻译质量评估、翻译系统的构建和优化等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。