本次发布的数据集smollm-corpus-cosmopedia-v2-enPurified-openai-messages,Cosmopedia-v2-enPurified是一个高质量英语散文数据集，源自HuggingFaceTB/smollm-corpus的cosmopedia-v2子集。该数据集通过严格的筛选过程，从3910万行数据中精选出7,732,241行最高质量的英语散文，剔除了技术噪音、外语和低质量文本。数据集采用OpenAI Messages格式，便于现代微调框架使用。筛选标准包括语言和逻辑深度、句法复杂性以及安全性和清理等多个方面，确保文本具有丰富的词汇、复杂的句子结构和高质量的逻辑链接。此外，数据集特别排除了数学和代码内容，专注于纯英语散文。
查看smollm-corpus-cosmopedia-v2-enPurified-openai-messages
Dataset card内容：
Files and versions内容：
关于,国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。
关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。
_1769672084863.jpg)