发布 stack 数据集, 应用在 编程语言、基准测试 领域

本次发布的数据集 stack, 该数据集是从[the stack](https://huggingface.co/datasets/Zyphra/Zyda/tree/main/data/zyda_starcoder/zyda_starcoder-languages)中筛选并去除了污染数据的一个子集，约占原数据的3/10。根据原始数据的语言分布，仅保留了以下高资源编程语言：java、javascript、php、python、c-sharp、typescript、c、cpp、go、html、ruby、kotlin、shell、rust。移除了非常规编程语言如markdown和json，以及所有非英语文件。数据集针对多个基准测试进行了去污染处理，包括GLUE、SIQA、PIQA等。去污染过程中移除了18个文档。数据集包含28,526,818个样本，下载的parquet文件大小为43G。

查看stack

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。