发布 fineweb-2-duckdbs 数据集, 应用在 数据查询、网络数据管理 领域

本次发布的数据集 fineweb-2-duckdbs, 该数据集包含一些DuckDB数据库，用于检查给定的WARC UID是否存在于FineWeb-2的某个dump中。数据集的使用示例展示了如何通过DuckDB查询特定dump和UUID是否存在。如果使用URN（如CommonCrawl数据），需要先提取UUID。数据集可以通过命令行工具下载整个数据集或单个文件。

查看fineweb-2-duckdbs

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。