TurkuNLP Research Group 发布 finerweb-10bt 数据集, 应用在 文本质量评估、自然语言处理 领域

TurkuNLP Research Group 本次发布的数据集 finerweb-10bt, 该数据集扩展了FineWeb-10BT样本（100亿个标记），为每行文本添加了质量评分。每个文档都通过基于LLM的过滤管道增强了行级质量评分，该管道用于识别高质量和低质量内容。数据集的结构与原始FineWeb-10BT相同，但增加了`line_quality`键，该键包含每行文本的质量评分。评分范围从0.0到1.0，较高的分数表示高质量内容，较低的分数表示格式化伪影、版权声明或导航元素等内容。数据集的创建过程包括使用GPT-4o mini标记样本、训练DeBERTa-v3分类器，并将分类器应用于生成全数据集的质量评分。

查看finerweb-10bt

Dataset card 内容： 

Files and versions 内容： 

关于 TurkuNLP Research Group , TurkuNLP Research Group是专注于自然语言处理和深度学习研究的团队，提供多语言文本分类和命名实体识别等模型。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。