LAION eV 发布 COREX-18 数据集, 应用在 科学知识引用、多语言数据 领域

LAION eV 本次发布的数据集 COREX-18, COREX-18是一个从2018年版本的CORE数据集中提取的综合性数据集，包含超过8500万条记录。该数据集主要用于RAG应用和科学知识引用类别，保留了关键的元数据，如coreId、标题、作者、出版日期、摘要、关系和年份，但未包含所有元数据以避免复杂性和大量NULL值。数据集未对原始数据进行任何文本清理，保持了原始的摘要和标题的完整性。数据集支持多种语言，包括英语和中文，并涵盖多个领域，如化学、生物学、法律、金融、音乐、艺术和气候。

查看COREX-18

Dataset card 内容： 

Files and versions 内容： 

关于 LAION eV , LAION是一个专注于构建大规模图像-文本对数据集的开源项目。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。