延世大学 发布 MM-EVAL 数据集, 应用在 多语言评估、自然语言处理 领域

延世大学 本次发布的数据集 MM-EVAL, MM-EVAL是由延世大学和韩国科学技术院等机构创建的多语言元评估基准，涵盖18种语言，包含六个子集，旨在评估大型语言模型在非英语环境下的评估能力。数据集包含4981条数据，涵盖聊天、推理、安全、语言幻觉和语言学等多个领域。创建过程中，数据集通过多种语言的本地化处理和任务设计，确保了在低资源语言中的有效性。该数据集主要应用于评估和改进大型语言模型在多语言环境中的表现，解决其在非英语环境下的评估偏差问题。

查看MM-EVAL

README 内容： 

关于 延世大学 , 延世大学是韩国首尔的一所私立研究型大学，成立于1885年，是韩国历史最悠久的高等教育机构之一，也是韩国SKY三所顶尖大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。