Kawahara Lab at Waseda University 发布 e_gov_chunked 数据集, 应用在 法律文本、自然语言处理 领域

Kawahara Lab at Waseda University 本次发布的数据集 e_gov_chunked, 该数据集是一个日本法律数据集，数据来源于e-Gov网站（下载日期：2024年10月20日）。每条文本数据被分块处理，每块不超过4096个token。数据集包含两个主要字段：text和metadata。text字段包含法律文本，主要用于分析；metadata字段包含10个子字段，如Era（法律颁布的日本年号）、Lang（文本语言，均为日语）、LawType（法律类型，如宪法、法案等）、Year（颁布年份）、PromulgateMonth/Day（颁布月份/日期）、LawNum（法律编号）、category_id（类别ID）和id_split（分块编号）。数据集分为训练集、验证集和测试集，比例为8:1:1，且保留了类别的原始分布。数据分块使用了llm-jp/llm-jp-3-1.8b分词器，分块算法确保每块不超过4096个token。

查看e_gov_chunked

Dataset card 内容： 

Files and versions 内容： 

关于 Kawahara Lab at Waseda University , Kawahara Lab at Waseda University是日本早稻田大学内的一个研究机构，专注于语音处理、音频信号处理以及语音合成等语音技术研究。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。