普林斯顿大学 发布 WebOrganizer 数据集, 应用在 自然语言处理、预训练模型 领域

普林斯顿大学 本次发布的数据集 WebOrganizer, WebOrganizer是一个旨在组织和优化预训练数据的数据集。该数据集由普林斯顿语言与智能实验室和艾伦人工智能研究所共同创建，通过对CommonCrawl语料库中的网页内容进行分类，将其划分为24个主题和格式领域。数据集涵盖了广泛的互联网内容，大小达到数万亿个tokens，为研究者和开发者提供了一个深入了解和优化预训练数据的工具。WebOrganizer通过构建丰富的二维数据结构，允许灵活地上采样或下采样领域，为数据标注和下游任务优化提供了丰富的可能性。

查看WebOrganizer

关于 普林斯顿大学 , 普林斯顿大学是美国的一所私立研究型大学，位于新泽西州的普林斯顿市，是美国东北部常春藤联盟的一员，以其在数学、物理、计算机科学等领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。