Beijing Academy of Artificial Intelligence 发布 IndustryCorpus_education 数据集, 应用在 教育、数据预处理 领域

Beijing Academy of Artificial Intelligence 本次发布的数据集 IndustryCorpus_education, 该数据集是为了解决行业模型训练中数据量不足、质量低和缺乏领域专业知识的问题而构建的。通过应用22个行业数据处理操作符，从超过100TB的开放源数据集中筛选出3.4TB的高质量多行业分类中英文预训练数据集，包括1TB的中文数据和2.4TB的英文数据。中文数据进行了12种类型的标签标注，如字母数字比率、平均行长度、语言置信度分数、最大行长度和困惑度等。数据集涵盖18个行业类别，包括医疗、教育、文学、金融、旅游、法律、体育、汽车、新闻等，并采用了基于规则和模型的过滤方法，以及文档级别的去重技术。数据集的大小为1TB中文和2.4TB英文，具体到各个行业类别，数据大小也有详细列出。

查看IndustryCorpus_education

Dataset card 内容： 

Files and versions 内容： 

关于 Beijing Academy of Artificial Intelligence , 智源研究院（BAAI）是中国顶尖的人工智能研究机构，致力于推动AI基础理论与应用创新。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。