EleutherAI发布pile_val_test数据集,应用在自然语言处理、语言模型训练领域

EleutherAI本次发布的数据集pile_val_test,该数据集是The Pile的验证集和测试集部分，The Pile是一个容量为825 GiB的英文文本数据集，专为训练大型语言模型而设计。本仓库包含两个文件：验证集（val.jsonl，1.4 GB）和测试集（test.jsonl，1.3 GB）。每条数据为一个JSON对象，包含两个字段：text字段存储文档文本内容，meta.pile_set_name字段标识该文档来自22个构成子数据集中的哪一个（如Pile-CC、PubMed Central、ArXiv、GitHub等）。该数据集适用于文本生成等自然语言处理任务。

查看pile_val_test

Dataset card内容：

Files and versions内容：

关于EleutherAI,EleutherAI是一个专注于开源AI技术发展的研究组织。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。