EleutherAI 发布 SmolLM-135M-100b 数据集, 应用在 自然语言处理、语言模型 领域

EleutherAI 本次发布的数据集 SmolLM-135M-100b, 这是一个包含大约1000亿token的文本数据集，来源于用于训练SmolLM-135M模型的SmolLM语料库的混合样本。数据集包括文本内容和文本来源信息，并提供了一个训练集split。

查看SmolLM-135M-100b

Dataset card 内容： 

Files and versions 内容： 

关于 EleutherAI , EleutherAI是一个专注于开源AI技术发展的研究组织。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。