复旦大学 发布 MME-Reasoning 数据集, 应用在 自然语言处理、多模态模型评估 领域

复旦大学 本次发布的数据集 MME-Reasoning, MME-Reasoning是一个用于评估多模态大型语言模型（MLLMs）推理能力的全面基准数据集，由复旦大学、香港中文大学MMLab、上海人工智能实验室等机构合作创建。该数据集包含1188个精心设计的题目，涵盖了归纳、演绎和溯因三种推理类型，并通过多选题、自由回答和基于规则的问题等多种形式进行评估。MME-Reasoning旨在评估MLLMs的核心推理技能，而不依赖于复杂的领域知识或简单的视觉感知能力，从而提供了一个全面且具有挑战性的推理能力评估基准。

查看MME-Reasoning

Dataset card 内容： 

Files and versions 内容： 

关于 复旦大学 , 复旦大学是中国著名的高等学府，位于上海，是中国教育部直属的全国重点大学，也是国家“211工程”和“985工程”的首批建设高校之一。该校设有多个学院，涵盖自然科学、技术科学、人文社会科学、管理科学、医学等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。