加州大学伯克利分校 发布 JudgeBench 数据集, 应用在 大型语言模型、评估基准 领域

加州大学伯克利分校 本次发布的数据集 JudgeBench, JudgeBench是由加州大学伯克利分校和圣路易斯华盛顿大学共同创建的一个用于评估基于大型语言模型（LLM）的裁判的基准数据集。该数据集包含350对挑战性响应，涵盖知识、推理、数学和编码四个类别。每对响应中包含一个客观正确的响应和一个客观错误的响应，错误响应设计有细微错误，以增加LLM裁判的区分难度。数据集的创建过程利用了一个新颖的管道，将现有具有客观真实标签和验证算法的数据集转换为适用于LLM裁判的数据集。JudgeBench主要用于评估LLM裁判在复杂任务中的事实和逻辑正确性，旨在解决现有基准在评估复杂任务时依赖于众包人类偏好而忽视事实和逻辑正确性的问题。

查看JudgeBench

README 内容： 

关于 加州大学伯克利分校 , 加州大学伯克利分校是一所位于美国加州的世界顶级公立研究型大学，以其在科研和创新领域的卓越成就闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。