加州大学伯克利分校 发布 PROMPTEVALS 数据集, 应用在 自然语言处理、模型评估 领域

加州大学伯克利分校 本次发布的数据集 PROMPTEVALS, PROMPTEVALS是由加州大学伯克利分校的研究人员创建的一个数据集，包含了2087个针对定制生产大型语言模型管道的提示模板和12623条相应的断言标准。这些提示模板来源于开发者使用开源LLM管道工具所贡献，数据集规模比之前的集合大5倍。该数据集被用于评估封闭和开源模型在生成相关断言方面的性能，并进一步推进了LLM可靠性、对齐和提示工程的研究。

查看PROMPTEVALS

Dataset card 内容： 

Files and versions 内容： 

关于 加州大学伯克利分校 , 加州大学伯克利分校是一所位于美国加州的世界顶级公立研究型大学，以其在科研和创新领域的卓越成就闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。