发布 MME-Unify 数据集, 应用在 多模态语言模型、性能评估 领域

本次发布的数据集 MME-Unify, MME-Unify是一个全面的评估框架，旨在系统地评估通用多模态语言模型(U-MLLMs)。该基准包括从12个数据集中抽取的10个任务和30个子任务，确保研究之间的一致和公平比较。框架引入了五个新颖的任务，用于测试多模态推理，包括图像编辑、带有图像生成的常识问答和几何推理。该数据集对12个领先的U-MLLMs进行了全面评估，如Janus-Pro、EMU3和VILA-U，以及专业的理解（例如Claude-3.5）和生成模型（例如DALL-E-3）。研究发现现有U-MLLMs在性能上存在显著差距，突出了需要更强大的模型来有效处理混合模态任务。

查看MME-Unify

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。