PleIAs 发布 Common Corpus 数据集, 应用在 自然语言处理、机器学习 领域

PleIAs 本次发布的数据集 Common Corpus, Common Corpus是一个大型开放数据集，包含约两万亿个token，适用于大型语言模型预训练。数据集包含多种语言，从主要欧洲语言到低资源语言，以及大量的代码数据。数据来源广泛，覆盖多个领域和时间段，为研究和商业需求提供支持。数据集的开发过程详细记录，并通过过滤和整理确保数据质量。Common Corpus旨在解决现有预训练数据集面临的版权和法律问题，为开放科学研究和语言模型开发提供支持。

查看Common Corpus

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。