Nasjonalbiblioteket AI Lab 发布 NCC 数据集, 应用在 自然语言处理、语言模型训练 领域

Nasjonalbiblioteket AI Lab 本次发布的数据集 NCC, 挪威语料库NCC是一个由多个小型挪威语料库组成的集合，适用于训练大型语言模型。该数据集经过清洗，并以常见格式提供，总大小为30GB，针对编码模型进行了优化。数据集包含文档类型、发布年份、语言识别结果和文本内容等字段。NCC还包括元数据，如数据来源、发布年份和语言置信度，以支持模型的进一步清洗和训练。

查看NCC

Dataset card 内容： 

Files and versions 内容： 

关于 Nasjonalbiblioteket AI Lab , Nasjonalbiblioteket AI Lab是挪威国家图书馆的人工智能实验室。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。