Language Technology Group (University of Oslo) 发布 saami-web 数据集, 应用在 自然语言处理、语言学 领域

Language Technology Group (University of Oslo) 本次发布的数据集 saami-web, 这是一个从北萨米语网页爬取的开放语料库。爬取过程从北萨米语维基百科的外部链接开始，并通过广度优先搜索继续，使用GlotLID工具识别为北萨米语的网页，并根据其Robots Exclusion Protocol允许爬取。原始HTML文档通过Trafilatura工具转换为自然文本，并在文档级别进行了模糊去重。数据集的许可证不对其内容施加任何额外限制。

查看saami-web

Dataset card 内容： 

Files and versions 内容： 

关于 Language Technology Group (University of Oslo) , Language Technology Group是奥斯陆大学的一个研究团队，专注于自然语言处理和语言技术的研究与发展，致力于推动相关技术在多个领域的应用和创新。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。