发布 zenz-v2.5-dataset 数据集, 应用在 日语假名汉字转换、自然语言处理 领域

本次发布的数据集 zenz-v2.5-dataset, zenz-v2.5-dataset是一个专门为日语假名汉字转换任务设计的数据集，旨在训练条件语言模型zenz-v2.5系列。该数据集包含约190M的左文脈-入力-変換結果对，足以支持假名汉字转换模型的高性能训练。数据集格式包括特定的标记和Unicode私用区域字符，用于区分不同的数据部分。数据集分为Wikipedia和llm-jp-corpus-v3两个子集，分别遵循CC BY-SA 4.0和ODC-BY许可证。此外，数据集在构建时应用了读取波动处理，以增加输入的多样性。

查看zenz-v2.5-dataset

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。