发布 CC-zh 数据集, 应用在 中文文本处理、自然语言处理 领域

本次发布的数据集 CC-zh, 这是一个经过深度清洗和预处理的高质量中文文本数据集，来源于Common Crawl。数据集通过移除非中文内容、转换繁体中文为简体中文、去除低质量文档等步骤进行了严格的筛选。此外，使用Qwen2.5-32B-Instruct模型对文档进行语言质量评分，并移除了评分低于4的文档，以确保数据集的整体质量。

查看CC-zh

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。