Hugging Face TB Research 发布 dclm-edu 数据集, 应用在 教育质量评估、自然语言处理 领域

Hugging Face TB Research 本次发布的数据集 dclm-edu, DCLM-Edu数据集是DCLM数据集的过滤版本，通过FineWeb-Edu教育质量分类器对网页进行标注并筛选出教育质量分数高于2的样本。该数据集旨在用于小型语言模型的训练，并已用于训练SmolLM2-135M和SmolLM2-360M模型。数据集中包含的样本分数为2是为了平衡数据集和增加多样性。

查看dclm-edu

Dataset card 内容： 

Files and versions 内容： 

关于 Hugging Face TB Research , Hugging Face TB Research是Hugging Face旗下专注于大规模语言模型与Transformer技术研究的团队，该机构专注于为预训练提供合成数据集。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。