清华大学 发布 Ultra-FineWeb 数据集, 应用在 自然语言处理、机器学习 领域

清华大学 本次发布的数据集 Ultra-FineWeb, Ultra-FineWeb是一个高质量的大语言模型预训练数据集，由清华大学、苏州大学和ModelBest Inc.的研究人员创建。数据集包含约1万亿个英文Tokens和1200亿个中文Tokens。该数据集通过一个高效的数据过滤流程创建，该流程基于一个高效的验证策略，该策略使用一个预训练的大语言模型来快速评估候选语料库对LLM训练性能的影响。Ultra-FineWeb旨在提高大语言模型在多个基准任务上的性能，并促进高质量LLM训练的发展。

查看Ultra-FineWeb

Dataset card 内容： 

Files and versions 内容： 

关于 清华大学 , 清华大学是中国的顶尖学府之一，位于北京，以其在工程、计算机科学、材料科学等领域的卓越教育和研究闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。