发布 GneissWeb 数据集, 应用在 自然语言处理、语言模型预训练 领域

本次发布的数据集 GneissWeb, GneissWeb是一个大型预训练语言模型数据集，从FineWeb V1.1.0派生而来，包含了超过10万亿个高质量标记。它通过多方面的质量注释员组合实现了细粒度的质量过滤，旨在为预训练提供足够数量的高质量标记。GneissWeb数据集的构建包括精确字符串去重、自定义的Fasttext质量过滤器、分类器和可读性分数质量过滤器等步骤。评估结果显示，在7B参数的消融模型上，GneissWeb数据集比FineWeb V1.1.0的标记平均提高了2%。

查看GneissWeb

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。