中国科学院自动化研究所 发布 SOCRATIC-PRMBENCH 数据集, 应用在 过程奖励模型、推理评估 领域

中国科学院自动化研究所 本次发布的数据集 SOCRATIC-PRMBENCH, SOCRATIC-PRMBENCH是一个针对过程奖励模型（PRMs）的系统评估数据集，由中国科学院自动化研究所、中国科学院大学人工智能学院和阿里巴巴集团通义实验室的研究人员创建。该数据集包含2995条推理路径，涵盖了六种推理模式：转换、分解、重新收集、推理、验证和集成，每种模式又细分为20种错误类型。数据集旨在为PRMs提供一个全面的评估框架，帮助研究人员识别PRMs在不同推理模式下的潜在缺陷，并推动PRMs在未来发展中的应用。

查看SOCRATIC-PRMBENCH

README 内容： 

关于 中国科学院自动化研究所 , 中国科学院自动化研究所是中国科学院直属科研机构，主要致力于自动化科学理论与技术的研究与开发。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。