Galirage Inc. 发布 GPR-bench 数据集, 应用在 生成式AI、回归测试 领域

Galirage Inc. 本次发布的数据集 GPR-bench, GPR-bench是一个轻量级、可扩展的基准测试，旨在为通用用例的生成式AI系统提供回归测试。它包含一个开放的双语（英语和日语）数据集，涵盖了八个任务类别（例如文本生成、代码生成和信息检索）和每个任务类别中的10个场景（每种语言共80个测试案例）。该数据集由Galirage Inc.创建，旨在通过系统性的回归测试来确保生成式AI系统的可重复性和可靠性。数据集包括80个双语场景，涵盖了八个不同的任务类别，例如文本生成、代码生成和信息检索等，每个类别有10个场景。数据集的内容来源于OpenAI的ChatGPT模型，并使用了OpenEvals框架进行评估。GPR-bench的创建过程包括数据集构建、参考答案生成、模型和提示变体、评估流程以及统计分析方法。该数据集的应用领域主要是生成式AI系统的回归测试，旨在解决生成式AI系统在模型更新或提示修订时可能出现的行为漂移问题，确保系统的可重复性和可靠性。

查看GPR-bench

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。