Beijing Academy of Artificial Intelligence 发布 CCI3-Data 数据集, 应用在 文本生成、数据分析 领域

Beijing Academy of Artificial Intelligence 本次发布的数据集 CCI3-Data, CCI 3.0数据集是一个高质量、可靠的中文互联网数据语料库，于2023年11月29日开源。该数据集基于CCI（中文语料库互联网）数据集构建，采用了更严格的数据清洗方法，并进行了数据去重。数据处理规则包括基于关键词的安全过滤、垃圾信息过滤、低质量内容分类模型过滤以及数据集内外的去重。此外，数据集还添加了丰富的元信息，如质量评分和教育水平标签，用户可以利用这些元信息进一步过滤和定制数据集。CCI 3.0语料库的大小约为1000GB，适用于文本生成任务。

查看CCI3-Data

Dataset card 内容： 

Files and versions 内容： 

关于 Beijing Academy of Artificial Intelligence , 智源研究院（BAAI）是中国顶尖的人工智能研究机构，致力于推动AI基础理论与应用创新。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。