TIGER-Lab 发布 MEGA-Bench 数据集, 应用在 多模态评估、任务评估 领域

TIGER-Lab 本次发布的数据集 MEGA-Bench, MEGA-Bench是一个扩展多模态评估到超过500个真实世界任务的评估套件。它包含两个主要子集：Core（核心任务集，包含440个任务）和Open（开放式任务集，包含65个任务）。此外，还提供了两个单图像子集：Core Single-image（标准核心子集中的单图像任务，包含273个任务）和Open Single-image（标准开放式子集中的单图像任务，包含42个任务）。数据集包含多种特征，如id、task_name、task_description、global_media、example_text、example_media、query_text、query_media、answer、metric_info、eval_context、taxonomy_tree_path、application、input_format和output_format。数据集支持多种输出格式，包括数字、短语、代码、LaTeX、坐标、JSON和自由格式等。

查看MEGA-Bench

Dataset card 内容： 

Files and versions 内容： 

关于 TIGER-Lab , TIGER-Lab是一个专注于图形识别、增强现实和虚拟现实等技术研究的实验室，致力于推动这些前沿技术在教育、娱乐和工业界的应用与发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。