发布 MAGACorpus 数据集, 应用在 自然语言处理、机器学习 领域

本次发布的数据集 MAGACorpus, Massive Genre-Audience Corpus (MAGACorpus)是一个基于SmolLM Corpus扩展的合成预训练语料库，通过两个阶段的合成过程，将原有文档扩展为5个新文档，实现了3.9倍的token数量扩展，同时通过大量的（体裁，受众）对保持多样性。该语料库用于模型预训练，并支持134M/377M/1.7B规模的模型从零开始训练。

查看MAGACorpus

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。