Multimodal Art Projection 发布 FineFineWeb-bert-seeddata 数据集, 应用在 领域研究、文本处理 领域

Multimodal Art Projection 本次发布的数据集 FineFineWeb-bert-seeddata, FineFineWeb数据集是一个关于细粒度领域网络语料库的综合研究。该数据集包含多个领域，如航空航天、农学、艺术、天文学等，每个领域在多个迭代中都有特定的令牌和样本计数。数据构建流程包括去重、URL标记、粗召回和细召回过程，以及迭代优化。数据集还包括领域间的相似性分析、重复性分析以及领域与基准之间的相关性研究。该数据集适用于文本分类、文本生成和文本到文本生成等任务，语言为英语，数据集规模为n>1T，表明这是一个非常大的数据集。

查看FineFineWeb-bert-seeddata

Dataset card 内容： 

Files and versions 内容： 

关于 Multimodal Art Projection , Multimodal Art Projection（MAP）是一个专注于多模态人工智能研究的开源社区。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。