香港中文大学 发布 YueData 数据集, 应用在 粤语语料库、自然语言处理 领域

香港中文大学 本次发布的数据集 YueData, YueData是一个高质量的大型粤语语料库，由香港中文大学和香港大学的研究人员共同创建。该数据集从开源语料库、香港特色论坛、粤语维基百科和Common Crawl数据等多种来源收集粤语文本，经过语言过滤、质量过滤、内容过滤和去重等严格的数据处理流程，最终构建了一个超过20亿tokens的粤语语料库，为大型语言模型的训练奠定了坚实基础。

查看YueData

关于 香港中文大学 , 香港中文大学，简称中大，是香港的一所公立研究型大学，成立于1963年，以“结合传统与现代，融会中西文化”为教育理念，是亚洲及世界一流大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。