CommonCrawl 发布 CCNEWS 数据集, 应用在 新闻文本、自然语言处理 领域

CommonCrawl 本次发布的数据集 CCNEWS, 该数据集是从2016年9月至2019年2月期间全球发布的CommonCrawl新闻数据集中的英文部分整理而来的大规模去重子集，包含了大量的新闻文章。这个子集源自一个更大的数据集，后者包含了大约10亿个句子或270亿个单词。为了实验目的，我们使用了该数据集的前10%。具体来说，这个数据集包含了1亿个句子和27亿个单词，这些数据被用于对话响应生成的预训练任务。

查看CCNEWS

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。