发布 wikipedia-RuDataset 数据集, 应用在 俄语文本处理、语言模型训练 领域

本次发布的数据集 wikipedia-RuDataset, RuDataset是一个用于训练语言模型的俄语数据集，特别适用于聊天格式的训练。该数据集包含了从维基百科中提取的文章，这些文章已经过清理和格式化，去除了元数据和特殊字符，并进行了文本规范化处理。数据集以Parquet格式存储，使用Snappy压缩和UTF-8编码。它适用于LLM训练、fine-tuning、创建embeddings和模型测试。

查看wikipedia-RuDataset

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。