NeuLab @ LTI/CMU 发布 PangeaBench-flores 数据集, 应用在 机器翻译、低资源语言 领域

NeuLab @ LTI/CMU 本次发布的数据集 PangeaBench-flores, FLORES-200 是一个机器翻译的基准数据集，特别关注低资源语言。它扩展了 FLORES-101 的语言覆盖范围，包括从英语、西班牙语、法语、俄语和现代标准阿拉伯语翻译成 200 种语言。该数据集包含 3001 个句子，来自 842 篇不同的网络文章，分为三个部分：dev、devtest 和 test。每个句子平均约 21 个单词。该数据集根据 Creative Commons Attribution-ShareAlike 4.0 国际许可证授权。

查看PangeaBench-flores

Dataset card 内容： 

Files and versions 内容： 

关于 NeuLab @ LTI/CMU , NeuLab @ LTI/CMU是卡内基梅隆大学语言技术研究所下的一个研究实验室，专注于自然语言处理与机器学习领域的前沿技术研究。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。