阿里巴巴集团 发布 ConceptMath 数据集, 应用在 数学推理、语言模型评估 领域

阿里巴巴集团 本次发布的数据集 ConceptMath, ConceptMath是一个双语（英语和中文）、细粒度的基准数据集，用于评估大型语言模型（LLMs）的概念级数学推理能力。该数据集从四个教育系统中收集数学概念，形成四个不同的数学概念系统：英语小学、英语中学、中文小学和中文中学。每个概念系统围绕约50个原子数学概念组织，每个概念包含约20个数学问题。ConceptMath总共包含214个数学概念和4011个数学问题，旨在通过概念级准确性评估数学推理的不同粒度，帮助开发者理解其模型的细粒度数学能力，并促进基础模型的发展。

查看ConceptMath

README 内容： 

关于 阿里巴巴集团 , 阿里巴巴集团是一家总部位于中国的跨国科技公司，主要业务包括电子商务、云计算、数字媒体和娱乐等。它是全球最大的零售商之一，旗下拥有多个知名平台，如淘宝、天猫和阿里云。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。