图尔库大学 发布 FinerWeb-10BT 数据集, 应用在 大语言模型、文本数据集 领域

图尔库大学 本次发布的数据集 FinerWeb-10BT, FinerWeb-10BT是由图尔库大学的研究团队创建的一个高质量文本数据集，旨在提升大语言模型（LLMs）的训练数据质量。该数据集基于FineWeb数据集，通过GPT-4o mini模型进行行级过滤，生成了10B个token的样本，约1500万条文档。数据集的内容主要来自CommonCrawl，经过预处理和过滤，去除了低质量文本，如版权声明、编程代码和格式化元素等。数据集的创建过程包括使用GPT-4o mini对20,000条文档进行行级标注，并通过DeBERTa-v3分类器进行大规模过滤。该数据集的应用领域主要是大语言模型的训练，旨在通过提高数据质量来提升模型的性能和训练效率，同时减少训练所需的计算资源。

查看FinerWeb-10BT

关于 图尔库大学 , 图尔库大学位于芬兰，是一所著名的研究型大学，成立于1920年。该大学以其在多个学科领域的研究和教育而闻名，特别是在信息技术和工程领域。图尔库智能嵌入式与机器人系统实验室是该大学的一个重要研究机构，专注于智能系统和机器人技术的研究与开发。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。