Salesforce 发布 PROVE 数据集, 应用在 视觉语言模型、模型评估 领域

Salesforce 本次发布的数据集 PROVE, PROVE是一个用于评估视觉语言模型（VLM）对开放式查询响应的基准测试。它通过提供一个大型语言模型（LLM）与高保真场景图表示，生成多样化的问答对和可执行的程序来验证每个问答对，从而构建了一个包含10.5k个具有视觉基础的挑战性问答对的基准。数据集还介绍了如何使用PROVE进行模型评估，并提供了一个排行榜来展示不同模型在PROVE上的表现。

查看PROVE

Dataset card 内容： 

Files and versions 内容： 

关于 Salesforce , Salesforce是全球领先的云计算公司，专注于提供CRM软件和服务。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。