HuggingFaceFW 发布 fineweb-2 数据集, 应用在 文本生成、多语言处理 领域

HuggingFaceFW 本次发布的数据集 fineweb-2, FineWeb 2 数据集是一个用于文本生成任务的大型数据集，包含多种语言的文本数据。每种语言都有其对应的配置，包括测试和训练数据文件的路径，以及一个用于训练数据的removed配置。数据集的大小超过1TB，涵盖了多种语言和脚本。

查看fineweb-2

Dataset card 内容： 

Files and versions 内容： 

关于 HuggingFaceFW , HuggingFaceFW是一个专注于自然语言处理和人工智能技术的开源社区，该组织提供FineWeb数据集，旨在通过开源代码和工具降低预训练高性能大型语言模型的门槛。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。