中国科学院自动化研究所 发布 ChineseWebText 2.0 数据集, 应用在 大语言模型、文本数据集 领域

中国科学院自动化研究所 本次发布的数据集 ChineseWebText 2.0, ChineseWebText 2.0是由中国科学院自动化研究所创建的大规模高质量中文网络文本数据集，包含3.8TB的数据。该数据集通过多维度和细粒度信息标注，每条文本都附有质量评分、领域标签、毒性标签和毒性评分。数据集的创建过程包括手工规则过滤、质量评估模型、领域分类器和毒性评估模型的应用。该数据集旨在支持大语言模型（LLM）的研究，特别是针对特定领域能力和安全性的提升。

查看ChineseWebText 2.0

README 内容： 

关于 中国科学院自动化研究所 , 中国科学院自动化研究所是中国科学院下属的研究机构，主要从事自动化科学与技术的研究，涵盖人工智能、机器人技术、模式识别等领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。