Multimodal Art Projection 发布 OmniBench 数据集, 应用在 多模态数据、模型评估 领域

Multimodal Art Projection 本次发布的数据集 OmniBench, OmniBench数据集是一个多模态基准测试数据集，用于评估模型在视觉、声学和文本输入上的综合处理能力。数据集包含以下特征：任务类型（字符串，表示7种任务类型之一）、音频类型（字符串，表示3种音频类型之一）、问题（字符串，表示问题内容）、选项（字符串列表，表示多选题的四个选项）、答案（字符串，表示正确答案，必须在选项中）、音频路径（字符串，音频文件的基本名称，使用时需前置mm_data/audio）、图像路径（字符串，图像文件的基本名称，使用时需前置mm_data/image）、音频内容（字符串，用于文本替代实验的人工注释音频转录）、图像内容（字符串，用于文本替代实验的VLM生成的图像描述）。此外，数据集还包含音频和图像的实际内容，分别以numpy数组和PIL.Image对象的形式存储。数据集分为训练集，包含1142个样本。

查看OmniBench

Dataset card 内容： 

Files and versions 内容： 

关于 Multimodal Art Projection , Multimodal Art Projection（MAP）是一个专注于多模态人工智能研究的开源社区。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。