敖德萨国立理工大学 发布 ZNO-Eval 数据集, 应用在 语言模型评估、多语言推理 领域

敖德萨国立理工大学 本次发布的数据集 ZNO-Eval, ZNO-Eval是由敖德萨国立理工大学创建的用于评估大型语言模型在乌克兰语中推理能力的基准数据集。该数据集基于乌克兰的标准化教育测试系统，包含来自外部独立评估和全国多学科测试的真实考试题目，涵盖乌克兰语、数学、历史和地理等多个学科。数据集包含7466条数据，题型包括单选题、多选题、匹配题和开放式问题。数据集的创建过程包括从历年考试中提取题目，并将其转换为适合语言模型评估的格式。ZNO-Eval旨在解决乌克兰语语言模型在复杂推理任务中的性能评估问题，为多语言模型的开发提供支持。

查看ZNO-Eval

README 内容： 

关于 敖德萨国立理工大学 , 敖德萨国立理工大学是乌克兰的一所著名高等教育机构，位于敖德萨市。该大学以其工程和技术教育而闻名，提供多种工程、技术和科学领域的本科和研究生课程。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。