EleutherAI 发布 dclm-dedup_20250227-004105-filters-only 数据集, 应用在 自然语言处理、数据过滤 领域

EleutherAI 本次发布的数据集 dclm-dedup_20250227-004105-filters-only, 这是一个包含多个字段的数据集，其中包括id、是否为目标过滤条件(is_filter_target)、单词过滤条件(word_filter及其元数据)、BERT过滤条件(bert_filter及其元数据)以及组合过滤条件(combined_filter)。数据集被划分为训练集，大小为约30.5GB，包含约4.1亿个示例。数据集还提供了默认配置，指定了训练数据的文件路径。

查看dclm-dedup_20250227-004105-filters-only

Dataset card 内容： 

Files and versions 内容： 

关于 EleutherAI , EleutherAI是一个专注于开源AI技术发展的研究组织。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。