爱丁堡大学 发布 MoE-CAP 数据集, 应用在 稀疏混合专家系统、大规模语言模型 领域

爱丁堡大学 本次发布的数据集 MoE-CAP, MoE-CAP是一个专门用于评估稀疏混合专家系统（MoE）的基准数据集，由爱丁堡大学和微软研究院等机构创建。该数据集旨在评估MoE系统在成本、准确性和性能之间的权衡，包含新的稀疏感知性能指标和完整的部署成本模型。数据集的内容涵盖了多种MoE模型的性能评估，包括内存带宽利用率和模型FLOPS利用率等。创建过程涉及对现有MoE系统的广泛分析，并提出了新的评估方法。该数据集主要应用于大规模语言模型的优化和部署，旨在解决MoE系统在实际部署中的成本、准确性和性能之间的复杂权衡问题。

查看MoE-CAP

Dataset card 内容： 

Files and versions 内容： 

关于 爱丁堡大学 , 爱丁堡大学是英国的一所著名公立研究型大学，成立于1583年，位于苏格兰首府爱丁堡。它是英国最古老的大学之一，也是罗素大学集团的成员，以其卓越的教学和研究成果闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。