北京大学 发布 Omni-MATH 数据集, 应用在 数学推理、大型语言模型评估 领域

北京大学 本次发布的数据集 Omni-MATH, Omni-MATH是由北京大学等机构创建的一个专为评估大型语言模型（LLMs）在奥林匹克级别数学推理能力上的综合性基准数据集。该数据集包含4428个竞赛级别的数学问题，这些问题被精心分类为超过33个子领域和10个不同的难度级别。数据集的创建过程包括从全球数学竞赛中收集数据，并通过人工注释进行验证，确保数据的高质量和多样性。Omni-MATH旨在为LLMs在复杂数学问题解决和推理能力上提供一个具有挑战性的评估平台，特别是在奥林匹克级别的数学问题上。

查看Omni-MATH

关于 北京大学 , 北京大学是中国著名的高等教育机构，主要负责培养高等学历人才，致力于促进科技文化的发展。学校提供多层次的学历教育，包括医学、教育学、哲学、经济学、法学、文学、历史学、理学、工学、管理学等各类学科的专科、本科、硕士和博士研究生学历教育，同时还进行博士后培养。在数据资源方面，北京大学拥有丰富多样的数据集，这些数据集涵盖了各个学科的广泛领域，虽然具体数据集特点各异，但都体现了北大学术研究的深度和广度。通过这些数据集，可以一窥北大在科研和教育方面的实力与成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。