Ghamut Corporation 发布 mmlu-winogrande-afr 数据集, 应用在 语言模型、非洲语言 领域

Ghamut Corporation 本次发布的数据集 mmlu-winogrande-afr, 该数据集由Ghamut Corporation和Bill and Melinda Gates Foundation共同创建，旨在提升低资源非洲语言的LLM性能。数据集包含约100万个人工翻译的词汇，涵盖8种非洲语言，包括Amharic, Bambara, Igbo, Sepedi, Shona, Sesotho, Setswana, 和 Tsonga。数据集内容包括Winogrande和MMLU的三个临床部分（大学医学、临床知识和病毒学）的翻译。创建过程涉及专业翻译和多轮质量评估，确保翻译的准确性和文化适应性。该数据集主要用于评估和提升LLM在非洲语言中的表现，旨在解决语言资源不平衡问题，促进语言技术的包容性和有效性。

查看mmlu-winogrande-afr

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。