Allen Institute for AI 发布 dolma-pes2o-cc-pd 数据集, 应用在 学术研究、开放获取 领域

Allen Institute for AI 本次发布的数据集 dolma-pes2o-cc-pd, 这是一个包含Creative Common和公共领域子集的开放获取论文数据集，来源于peS2o。数据集的截止日期是2024年10月6日，训练集包含截至2024年8月31日的论文。数据集包含训练集和验证集，分别有625万和3.9万篇文档。文档的许可证分布包括CC-BY、CC-BY-SA、CC0和公共领域。数据集涵盖了多个研究领域，如医学、生物学、环境科学等。

查看dolma-pes2o-cc-pd

Dataset card 内容： 

Files and versions 内容： 

关于 Allen Institute for AI , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。