发布 Hyi_6b_MU_RedPajama-Data-1T_reservoir_eng_tokenized_normal 数据集, 应用在 自然语言处理、语言模型训练 领域

本次发布的数据集 Hyi_6b_MU_RedPajama-Data-1T_reservoir_eng_tokenized_normal, 该数据集是一个包含多个来源的数据集集合，包括arxiv论文、common_crawl网页、github代码、stackexchange问答和wikipedia百科等内容。每个配置下都有forget和retain两个数据分割，分别代表遗忘和保留的数据集。数据集以input_ids、attention_mask和labels为特征，可用于训练语言模型等任务。

查看Hyi_6b_MU_RedPajama-Data-1T_reservoir_eng_tokenized_normal

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。