Allen Institute for AI 发布 dolmino-mix-1124 数据集, 应用在 语言模型训练、数据混合 领域

Allen Institute for AI 本次发布的数据集 dolmino-mix-1124, DOLMino Mix 1124是一个用于OLMo2第二阶段退火训练的高质量数据混合集，包含多个来源的数据，涵盖网页、STEM论文、百科全书、代码文本、数学等多个类别。数据集总大小超过5.14TB，包含超过8430亿个token，混合比例根据训练阶段不同而变化，通常DCLM占50%的token，其余来源占50%。

查看dolmino-mix-1124

Dataset card 内容： 

Files and versions 内容： 

关于 Allen Institute for AI , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。