OpenDataLab 发布 WanJuan 数据集, 应用在 人工智能、开放数据集 领域

OpenDataLab 本次发布的数据集 WanJuan, 该数据集由OpenDataLab提供，包含了超过6500个开放数据集，涵盖30多种数据格式，并支持50多种类型的任务。其中包括大规模预训练数据集如万卷数据集、图像文本对数据集Laion5B以及以视频为中心的多模态数据集InternVid。OpenDataLab为大型模型开发的所有阶段提供全面的 数据集支持，并采用标准化的数据集描述语言（DSDL）来提高数据的互操作性和可重用性。数据规模宏大，总量超过80TB，包括超过60亿张图像、8亿视频片段、1000亿个令牌、100万个3D模型以及2万小时的音频。这些数据集可支持包括预训练、微调及评估在内的各种人工智能任务。

查看WanJuan

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。