发布 finemath 数据集, 应用在 数学、自然语言处理 领域

本次发布的数据集 finemath, 该数据集是FineMath-3+的一个清理、去重和去污染的版本，所有非英语内容已被移除。在去重过程中，与OpenWebText2、CC-News和OpenWebMath等数据集进行了交叉去重，移除了超过一百万个文档。在去污染过程中，基于n-gram重叠，移除了4.8K个文档，涉及多个基准测试，包括GLUE、SIQA、PIQA等。数据集包含19,042,091个样本，下载的parquet文件大小为50G。

查看finemath

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。