南京大学 发布 BenchMAX 数据集, 应用在 自然语言处理、机器学习评估 领域

南京大学 本次发布的数据集 BenchMAX, BenchMAX是一个多语言评估套件，由南京大学等机构开发，旨在公平比较不同语言的大型语言模型的重要能力。该数据集覆盖了17种语言，不仅包括更广泛的语言家族，而且强调了不同语言系统中书写系统的多样性。BenchMAX通过机器翻译将数据从英语翻译成其他语言，并由三种不同语言的母语注释者进行后期编辑，以确保数据的高质量。该数据集包含了一系列任务，用于评估LLM的语言无关能力，如指令遵循、推理、长上下文理解、代码生成等，以促进多语言语言模型的发展。

查看BenchMAX

Dataset card 内容： 

Files and versions 内容： 

关于 南京大学 , 南京大学是中国的一所著名综合性大学，以其在文、理、工、医等多个学科领域的深厚学术底蕴和卓越研究成果而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。