AllenAI 发布 OLMoE Mix 数据集, 应用在 语言建模、机器学习 领域

AllenAI 本次发布的数据集 OLMoE Mix, 该数据集被用于训练专家混合（Mixture of Experts, MoE）模型，其中包含了1.3亿个活跃参数，总计参数量为6.9亿。在规模上，该数据集涉及到的活跃参数为10亿，总参数量为70亿，其任务是对语言建模进行专家混合模型的训练。

查看OLMoE Mix

Dataset card 内容： 

Files and versions 内容： 

关于 AllenAI , AllenAI是由微软联合创始人保罗·艾伦创立的研究公司，致力于通过人工智能推动科学、技术和艺术的发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。