LAION eV 发布 ConcatX-M3 数据集, 应用在 自然语言处理、语言嵌入 领域

LAION eV 本次发布的数据集 ConcatX-M3, 该数据集包含维基百科语言的嵌入数据，分为英文和德文两个部分。每个部分都包含语言标识、嵌入向量和版本控制信息。数据集的总下载大小为54.93GB，总数据大小为75.26GB。

查看ConcatX-M3

Dataset card 内容： 

Files and versions 内容： 

关于 LAION eV , LAION是一个专注于构建大规模图像-文本对数据集的开源项目。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。