阿里巴巴集团 发布 PROCESSBENCH 数据集, 应用在 数学推理、错误识别 领域

阿里巴巴集团 本次发布的数据集 PROCESSBENCH, PROCESSBENCH是由阿里巴巴集团Qwen团队创建的一个用于评估数学推理过程中错误识别能力的数据集。该数据集包含3400个测试案例，主要涵盖竞赛和奥林匹克级别的数学问题。每个测试案例包含一个逐步解决方案，并由人类专家标注错误位置。数据集的创建过程包括从多个公开数据集中收集问题，使用多种开源语言模型生成解决方案，并通过专家注释确保数据质量。PROCESSBENCH旨在解决语言模型在复杂数学问题中自动识别错误步骤的需求，推动推理过程评估的研究。

查看PROCESSBENCH

README 内容： 

关于 阿里巴巴集团 , 阿里巴巴集团是一家中国的跨国科技公司，主要涉及电子商务、零售、互联网和科技服务等领域，是全球最大的零售和互联网公司之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。