EssentialAI 发布 Essential-Web v1.0 数据集, 应用在 自然语言处理、语言模型训练 领域

EssentialAI 本次发布的数据集 Essential-Web v1.0, 该数据集包含了24万亿个标记的文档，这些文档根据主题、格式、内容复杂度和质量被分类到十二个类别中。此外，该数据集中还包含了来自不同领域的竞争性网络精选数据集，并使用经过精细调整的模型进行整理，该模型具有高标注者一致性。该数据集的任务是用于训练语言模型，并在数学、网络代码、STEM（科学、技术、工程和数学）以及医学任务上评估性能。

查看Essential-Web v1.0

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。