伦敦大学学院 发布 TransWeb-Edu 数据集, 应用在 多语言处理、自然语言处理 领域

伦敦大学学院 本次发布的数据集 TransWeb-Edu, TransWeb-Edu是由伦敦大学学院人工智能中心创建的多语言预训练数据集，通过将高质量的英语教育网络数据集FineWeb-Edu翻译成法语、德语和西班牙语而得。该数据集包含约300亿个token，涵盖了约5400万条文档。创建过程中使用了Mistral-7B-Instruct翻译模型，并采用了高效的翻译和重组策略。TransWeb-Edu主要用于训练多语言大型语言模型，旨在提升非英语语言的模型性能，特别是在多语言推理任务中。

查看TransWeb-Edu

Dataset card 内容： 

Files and versions 内容： 

关于 伦敦大学学院 , 伦敦大学学院（University College London, UCL）是英国的一所顶尖综合性大学，成立于1826年，位于伦敦市中心。它是伦敦大学系统的创始学院之一，也是英国金三角名校之一。UCL在多个学科领域享有盛誉，尤其在医学、法律、经济学、建筑学和工程学等领域表现突出。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。