AllenAI 发布 C4 数据集, 应用在 自然语言处理、机器学习 领域

AllenAI 本次发布的数据集 C4, 该数据集是对Common Crawl数据进行处理和筛选后的版本，特别是由AllenAI进行的复制品。在零样本泛化评估任务中，C4数据集表现出色，仅次于The Pile，显示了其在零样本泛化能力上的强劲性能。

查看C4

README 内容： 

关于 AllenAI , AllenAI是一个专注于推动人工智能研究、应用和伦理发展的非营利研究机构，由艾伦·图灵研究所和AI2公司共同创立，旨在通过开放的研究和合作，加速人工智能科学的发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。