明尼苏达大学 发布 LAG-MMLU 数据集, 应用在 自然语言处理、语言模型评估 领域

明尼苏达大学 本次发布的数据集 LAG-MMLU, LAG-MMLU数据集是由明尼苏达大学等研究机构创建的，包含500个从原始MMLU benchmark随机选取的样本，涵盖人文学科、STEM、社会科学等领域。该数据集包括首个为Giriama语种创建的金标准（人工翻译）集合，以及两个针对拉脱维亚语的银标准数据集：一个是机器翻译的，另一个是机器翻译后经过人工审校的。该数据集旨在评估大型语言模型在不同语言下的理解和知识表示能力，特别是在低资源语言中的表现。

查看LAG-MMLU

关于 明尼苏达大学 , 明尼苏达大学是美国明尼苏达州的一所公立研究型大学，拥有多个校区，主校区位于明尼阿波利斯和圣保罗。该校在多个学科领域享有国际声誉，尤其在医学、工程和农业科学方面表现卓越。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。