发布 Literature-zh 数据集, 应用在 中文文本数据、文本质量评估 领域

本次发布的数据集 Literature-zh, 这个数据集是由公共爬虫收集的中文书籍、论文、法律文件和专利组成的复合数据集。经过数据清洗，移除了含有非拉丁、非中文字符比例超过2%的文本，以及含有大量特殊字符的文本，同时将繁体中文转换为了简体中文。数据集中的文档还经过语言质量评估，移除了质量较低的文档。数据集包含47,087,808个样本，磁盘大小为214G的parquet文件。

查看Literature-zh

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。