字节跳动 发布 MAGACorpus 数据集, 应用在 自然语言处理、机器学习 领域

字节跳动 本次发布的数据集 MAGACorpus, MAGACorpus是由字节跳动研究团队创建的一个大规模预训练语料库，基于现有的高质量文本集合。该数据集通过MAGA重构方法进行扩展，生成具有多样性和上下文丰富的预训练数据。MAGACorpus包含7700亿个tokens，可以支持不同大小的模型进行训练，并在各种任务中展示了优越的性能。

查看MAGACorpus

Dataset card 内容： 

Files and versions 内容： 

关于 字节跳动 , 字节跳动是一家全球领先的科技公司，总部位于中国北京，主要产品包括抖音、今日头条等。公司致力于通过技术创新，提供个性化内容推荐服务，并在全球范围内拥有广泛的用户基础。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。