发布AEGIS数据集,应用在多模态模型、世界知识评估领域

本次发布的数据集AEGIS,AEGIS（即**A**ssessing **E**diting, **G**eneration, **I**nterpretation-**U**nderstanding for **S**uper-intelligence）是一个全面的多任务基准测试，旨在评估统一多模态模型（UMMs）在多样化任务中应用世界知识的能力。该数据集包含1,050个具有挑战性的手动标注问题，涵盖21个主题（包括STEM、人文、日常生活等）和6种推理类型。AEGIS通过视觉理解、生成、编辑和交错生成任务，具体评估UMMs在世界知识范围内的表现，并提出了确定性基于检查表的评估（DCE）协议，以增强评估的可靠性。实验结果表明，大多数UMMs在世界知识方面存在严重缺陷，且性能随着推理复杂度的增加而显著下降。此外，简单的插件推理模块可以部分缓解这些缺陷，为未来研究指明了方向。

查看AEGIS

Dataset card内容：

Files and versions内容：

关于,国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。