复旦大学 发布 PRMBENCH 数据集, 应用在 模型评估、复杂推理 领域

复旦大学 本次发布的数据集 PRMBENCH, PRMBENCH是由复旦大学、苏州大学、上海人工智能实验室等机构联合创建的一个细粒度过程级奖励模型评估基准。该数据集包含6216个问题实例和83456个步骤级标签，数据来源包括人工标注和合成数据。数据集的创建过程通过风格控制的数据整理方法确保评估样本的难度一致，避免了混淆变量。PRMBENCH旨在解决现有基准在评估过程级奖励模型时无法系统检测多种错误类型的问题，适用于复杂推理和决策任务中的模型评估与改进。

查看PRMBENCH

关于 复旦大学 , 复旦大学是中国上海市的一所著名综合性研究型大学，创建于1905年，原名复旦公学。它是中国顶尖的高等教育机构之一，以其在人文社会科学、自然科学、工程技术、医学等领域的卓越研究和教育而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。