天津大学 发布 M3KE 数据集, 应用在 语言模型评估、知识测试 领域

天津大学 本次发布的数据集 M3KE, M3KE是一个针对中文大型语言模型的知识评估基准，包含20,477个问题，覆盖从小学到大学的所有主要教育水平，涵盖人文、历史、政治、法律、教育、心理学、科学、技术、艺术和宗教等多个学科。该数据集旨在通过零样本和少样本设置测试中文大型语言模型的多任务准确性，以衡量其知识获取能力。数据集中的所有问题均为四选项选择题，确保评估过程的标准化和统一。

查看M3KE

README 内容： 

关于 天津大学 , 天津大学是中国的一所著名高等学府，位于天津市，是教育部直属的全国重点大学之一。学校历史悠久，学科门类齐全，尤其在工程技术和自然科学领域具有较强的研究实力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。