慕尼黑大学 发布 GlotCC 数据集, 应用在 语言技术、少数语言数据集 领域

慕尼黑大学 本次发布的数据集 GlotCC, GlotCC是由慕尼黑大学和慕尼黑机器学习中心创建的一个开放、广泛覆盖的CommonCrawl语料库，专门针对少数语言。该数据集包含超过1000种语言的2TB文档级通用领域文本，通过一个开源可复现的管道生成，并经过严格清理以确保数据质量。GlotCC的创建过程包括使用GlotLID v3.0进行语言识别和多种过滤技术去除网页噪音。该数据集主要应用于预训练生成语言模型和其他需要超越句子级别信息的语言技术，旨在解决少数语言数据稀缺的问题。

查看GlotCC

Dataset card 内容： 

Files and versions 内容： 

关于 慕尼黑大学 , 慕尼黑大学是德国最古老和最负盛名的大学之一，成立于1472年，位于德国巴伐利亚州的首府慕尼黑。该大学在多个学科领域享有国际声誉，尤其在自然科学、医学、法律和经济学等领域表现突出。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。