本次发布的数据集 fineweb-2-duckdbs, 该数据集包含一些DuckDB数据库,用于检查给定的WARC UID是否存在于FineWeb-2的某个dump中。数据集的使用示例展示了如何通过DuckDB查询特定dump和UUID是否存在。如果使用URN(如CommonCrawl数据),需要先提取UUID。数据集可以通过命令行工具下载整个数据集或单个文件。
Dataset card 内容:
Files and versions 内容:
关于 , 国庆学校是一所位于中国的教育机构,专注于提供基础教育服务。学校致力于培养学生的综合素质,注重学术与品德的全面发展。
关于 HuggingFace , Hugging Face是一个机器学习社区协作平台,专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型,包括文本、图像、视频、音频和3D数据,并提供开源工具和付费计算及企业解决方案。





_1769672084863.jpg)