Multimodal Art Projection 发布 FineFineWeb-validation 数据集, 应用在 文本分类、文本生成 领域

Multimodal Art Projection 本次发布的数据集 FineFineWeb-validation, FineFineWeb数据集是一个关于细粒度领域网络语料库的综合研究。该数据集涵盖了多个领域，如航空航天、农学、艺术、天文学等，每个领域在多个迭代中都有特定的标记和样本计数。数据构建流程包括去重、使用GPT-4进行URL标记、使用Qwen2-7B-Instruct和BERT模型进行粗召回和细召回，以及迭代优化。数据集还包括领域间相似性、重复性和与基准测试的相关性分析。该数据集适用于文本分类、文本生成等任务，并采用Apache 2.0许可证。

查看FineFineWeb-validation

Dataset card 内容： 

Files and versions 内容： 

关于 Multimodal Art Projection , Multimodal Art Projection（MAP）是一个专注于多模态人工智能研究的开源社区。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。