LAION eV 发布 COREX-18text 数据集, 应用在 自然语言处理、机器学习 领域

LAION eV 本次发布的数据集 COREX-18text, CORE-18 Fulltext数据集是CORE提供的第一个维护良好的公共数据集之一，包含大量研究论文及其补充元数据。该数据集特别适用于人工智能、机器学习研究和工程项目，尤其是在自然语言处理领域。数据集涵盖化学、生物学和医学研究等主题，包含英文和中文论文。数据集大小超过220GB，包含9,835,064行数据，每两年更新一次。为避免特殊字符可能带来的问题，数据集未进行文本预处理。README文件还强调了伦理和透明研究的重要性，要求用户在使用数据时承认数据集创建者的贡献。

查看COREX-18text

Dataset card 内容： 

Files and versions 内容： 

关于 LAION eV , LAION是一个专注于构建大规模图像-文本对数据集的开源项目。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。