Salesforce AI Research 发布 Hard2Verify 数据集, 应用在 数学问题验证、机器学习评估 领域

Salesforce AI Research 本次发布的数据集 Hard2Verify, Hard2Verify是一个人类标注的、基于步骤的验证基准数据集，用于评估前沿数学问题的验证器性能。该数据集包含来自最近国际数学竞赛（如IMO和Putnam）的难题，并使用三个顶级LLM（GPT-5（高）、Gemini 2.5Pro和Claude Sonnet 4（思考））对问题进行回答。最后，由博士级别的数学专家对每个模型生成的步骤进行标注。该数据集的创建历时超过500小时的人力工作，并经过了三轮独立的一致性检查。Hard2Verify旨在解决开放性问题，要求验证器不仅要评估步骤的正确性，还要评估所引用结果的正确性和适用性。该数据集适用于自然发生的应用场景，验证器必须评估模型生成的回答，这些回答通常与人类编写的参考答案有很大的不同。

查看Hard2Verify

Dataset card 内容： 

Files and versions 内容： 

关于 Salesforce AI Research , Salesforce AI Research是Salesforce公司下属的人工智能研究部门，致力于推动机器学习和深度学习领域的科学研究，并将这些研究成果应用于Salesforce的产品中，以提升客户服务和企业自动化水平。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。