Allen Institute for AI 发布 olmo-mix-1124 数据集, 应用在 自然语言处理、机器学习 领域

Allen Institute for AI 本次发布的数据集 olmo-mix-1124, OLMo Mix 1124数据集用于训练OLMo2-1124模型，主要包含来自DCLM-Baseline的数据，未进行额外过滤。数据集包括多个子集，如Arxiv、pes2o、starcoder、Algebraic-stack、OpenWebMath和Wiki，每个子集都有详细的统计信息，如tokens数量、未压缩字节数和文档数量。数据集的总tokens数量为3.90T，总字节数为22.4TB，总文档数为3.08M。数据集的许可证为Open Data Commons Attribution License (ODC-By) v1.0，使用时还需遵守CommonCrawl的条款。

查看olmo-mix-1124

Dataset card 内容： 

Files and versions 内容： 

关于 Allen Institute for AI , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。