Allen Institute for AI 发布 OLMoE-mix-0824 数据集, 应用在 大型语言模型、文本生成 领域

Allen Institute for AI 本次发布的数据集 OLMoE-mix-0824, OLMoE Mix (August 2024)数据集用于训练OLMoE-1B-7B模型，这是一个具有1B活跃参数和7B总参数的Mixture-of-Experts大型语言模型。数据集包含多个子集，如DCLM Baseline 1.0、Starcoder、peS2o等，涵盖了文本生成任务。数据集经过预处理，去除了包含32个或更多重复ngram的文档，并对Starcoder子集进行了额外的处理。数据集的许可为Open Data Commons Attribution License (ODC-By) v1.0。

查看OLMoE-mix-0824

Dataset card 内容： 

Files and versions 内容： 

关于 Allen Institute for AI , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。