发布 C4-zh 数据集, 应用在 自然语言处理、文本分类 领域

本次发布的数据集 C4-zh, 这是一个从C4数据集中清洗出的仅含中文文本的数据集，共包含32485463个样本，转换为Parquet格式后的文件大小为61G。此外，还有一个经过模型筛选的版本，包含16751363个样本，文件大小为33G。数据集中还包含了398K个中文样本和250K个英文样本的语言质量标注信息，这些信息用于训练一个XLM-RoBERT-large分类器来过滤文档。

查看C4-zh

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。