武汉大学 发布 ArcMMLU 数据集, 应用在 图书馆与信息科学、语言模型评估 领域

武汉大学 本次发布的数据集 ArcMMLU, ArcMMLU是一个专为中文图书馆与信息科学领域设计的大型语言模型评估基准。该数据集由武汉大学信息管理学院创建，包含6210个高质量的单选题，覆盖档案学、数据科学、图书馆学和信息科学四个主要子领域。数据集的构建过程包括从实际的研究生入学考试、专业考试、课程测验和学术竞赛中收集原始数据，通过光学字符识别（OCR）技术提取文本内容，并进行人工检查和质量过滤。ArcMMLU旨在通过这些精心设计的题目，全面评估和提升大型语言模型在特定领域的应用能力，特别是在复杂信息检索、数据组织和档案图书馆环境中的用户交互等方面。

查看ArcMMLU

README 内容： 

关于 武汉大学 , 武汉大学是中国的一所综合性研究型大学，位于湖北省武汉市，是中国教育部直属的重点大学之一。学校历史悠久，学科门类齐全，尤其在信息管理、法学、医学等领域具有较高的学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。