HKUST NLP Group 发布 PreSelect-100B 数据集, 应用在 自然语言处理、机器学习 领域

HKUST NLP Group 本次发布的数据集 PreSelect-100B, PreSelect-100B是一个精选的大约1000亿token的预训练数据集，它在各种基准测试中表现出色。该数据集通过在10%阈值下使用PreSelect分类器对DCLM-refinedweb数据集的随机子集进行筛选得到，DCLM-refinedweb是对Common Crawl原始数据进行清洗但不包含模型过滤的版本。

查看PreSelect-100B

Dataset card 内容： 

Files and versions 内容： 

关于 HKUST NLP Group , HKUST NLP Group是香港科技大学的一个自然语言处理研究团队，专注于语言技术、机器翻译及人工智能相关领域的前沿研究和应用开发。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。