Beijing Academy of Artificial Intelligence 发布 IndustryCorpus_literature 数据集, 应用在 预训练数据、行业模型 领域

Beijing Academy of Artificial Intelligence 本次发布的数据集 IndustryCorpus_literature, 该数据集是为了改善行业模型性能而构建的，包含1TB中文和2.4TB英文的高质量多行业分类预训练数据。数据集通过22个数据处理操作符从100TB开放源数据中筛选出，并进行了12种类型的中文数据标签标注。数据集涵盖18个行业类别，包括医疗、教育、文学、金融等，并进行了基于规则和模型的过滤以及文档级别的去重。通过在医疗行业示范模型上的训练，显示了20%的客观性能提升和82%的主观胜率。

查看IndustryCorpus_literature

Dataset card 内容： 

Files and versions 内容： 

关于 Beijing Academy of Artificial Intelligence , 智源研究院（BAAI）是中国顶尖的人工智能研究机构，致力于推动AI基础理论与应用创新。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。