UCLA NLP 发布 VISCO 数据集, 应用在 视觉语言模型、模型评估 领域

UCLA NLP 本次发布的数据集 VISCO, VISCO数据集是一个用于评估大型视觉语言模型（LVLMs）批判和修正能力的基准。数据集包含1645对问题和LVLM生成的答案，每个答案都包含一个多步骤的推理链。此外，数据集还包含5604个逐步骤的批判注释，显示每个步骤是否正确，并在步骤不正确时提供自然语言解释。数据集的每个数据点包括一个问题、一个LVLM生成的答案以及每个步骤的批判注释。批判注释包括三个部分：最终答案的二元批判、每个步骤的二元批判以及每个步骤的自然语言批判。数据集还包含元数据，如批判的超技能、技能、源数据集和源模型等信息。

查看VISCO

Dataset card 内容： 

Files and versions 内容： 

关于 UCLA NLP , UCLA NLP是加利福尼亚大学洛杉矶分校的自然语言处理研究小组。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。