发布 pile-deduped-pythia-preshuffled 数据集, 应用在 自然语言处理、机器学习 领域

本次发布的数据集 pile-deduped-pythia-preshuffled, 该数据集是一个经过完全准备和预洗牌的token化文本数据集，用于训练Pythia（去重）模型。数据集采用parquet格式存储，包含三个列：序列的唯一标识符uid、批次索引batch_idx和token化的文本token_ids。整个数据集被分割成143个数据块，每个块包含1024000个序列，对应1000个批次。数据集的结构与Pythia模型的检查点结构相对应。数据集的使用许可参考原数据集EleutherAI/pile-deduped-pythia-preshuffled。

查看pile-deduped-pythia-preshuffled

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。