浙江大学 发布 VerifyBench 数据集, 应用在 奖励系统评估、模型验证 领域

浙江大学 本次发布的数据集 VerifyBench, VerifyBench是一个专门设计用于评估基于参考的奖励系统的基准数据集，旨在填补现有奖励基准在评估推理模型训练中使用的验证系统方面的空白。数据集由来自现有开放数据集的指令和参考答案组成，并由多个开源和专有的大型语言模型生成响应。每个实例都经过至少两名人工标注者的验证，以确保标签的一致性和可靠性。VerifyBench-Hard是VerifyBench的一个更具挑战性的变体，专注于模型之间高度分歧的情况，为奖励系统的准确性提供了更严格的测试。

查看VerifyBench

关于 浙江大学 , 浙江大学是中国一所历史悠久、学科全面、科研实力雄厚的顶尖综合性大学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。