JHU Human Language Technology Center of Excellence 发布 megawika-2 数据集, 应用在 多语言文本分析、维基百科数据 领域

JHU Human Language Technology Center of Excellence 本次发布的数据集 megawika-2, MegaWika 2.0是一个多语言和跨语言文本数据集，包含维基百科的结构化视图，最终涵盖50种语言，包括从所有引用的网页源中干净提取的内容。初始版本基于2024年5月1日的维基百科转储，总共包含约7700万篇文章和7100万条抓取的网页引用。英文集合是最大的，包含约1000万篇文章和2400万条抓取的网页引用。数据集以JSON-lines格式呈现，每个块包含最多1000篇文章，每行是一个独立的JSON编码的维基百科文章。除了文章文本外，还提供了文章的结构视图，分为标题、段落、表格和引用。引用包括一个可抓取的网页源的URL，并包含在该网页源中找到的干净提取的内容。数据集还包括详细的统计数据和改进的引用提取过程。

查看megawika-2

Dataset card 内容： 

Files and versions 内容： 

关于 JHU Human Language Technology Center of Excellence , JHU Human Language Technology Center of Excellence是约翰斯·霍普金斯大学（JHU）的一个研究中心，专注于人类语言技术的研究与创新，致力于推动自然语言处理领域的发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。