LAION eV 发布 Wikipedia-X-Concat 数据集, 应用在 多语言问答、维基百科 领域

LAION eV 本次发布的数据集 Wikipedia-X-Concat, 这是一个多语言的问答数据集，主要用于RAG项目。数据集包含了多个维基百科的标题和摘要的合并内容，存储在Concat Abstract列中。数据集支持德语和英语等多种语言，并且提供了不同语言的维基百科数据分割。每个分割包含一定数量的字节和示例。数据集的总下载大小和数据集大小也被提供。

查看Wikipedia-X-Concat

Dataset card 内容： 

Files and versions 内容： 

关于 LAION eV , LAION是一个专注于构建大规模图像-文本对数据集的开源项目。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。