清华大学 发布 DCAD-2000 数据集, 应用在 多语言处理、自然语言处理 领域

清华大学 本次发布的数据集 DCAD-2000, DCAD-2000是一个大规模、高质量的多语言数据集，由清华大学等机构构建，包含2282种语言，数据量达到8.63亿份文档，46.72TB的存储大小，涵盖了155种高和中资源语言以及159种书写脚本。该数据集通过将数据清洗任务重新定义为异常检测问题，显著提高了数据质量，能够识别并移除噪声或异常内容。DCAD-2000适用于多种下游自然语言处理任务，特别是在提高低资源语言的多语言模型性能方面表现出色。

查看DCAD-2000

关于 清华大学 , 清华大学，位于中国北京，是一所享誉全球的顶尖研究型大学，以其深厚的学术底蕴和杰出的科研能力而著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。