华中科技大学 发布 MMMR 数据集, 应用在 多模态推理、模型评估 领域

华中科技大学 本次发布的数据集 MMMR, MMMR是一个专为评估多模态大语言模型（MLLMs）的推理能力而设计的数据集。它包含了1083个高难度的问题，涵盖了逻辑、数学、时空、代码、地图和科学六个推理领域。每个问题都融合了文本、图像、表格和图表等多种模态，要求模型进行结构化、符号化和抽象推理。数据集分为验证集和测试集，用于评估模型的推理质量和结构完整性。MMMR旨在帮助研究人员更好地理解和改进多模态推理模型，推动该领域的发展。

查看MMMR

关于 华中科技大学 , 华中科技大学是中国的一所综合性全国重点大学，位于湖北省武汉市，是‘211工程’和‘985工程’的首批建设高校之一，以其在工程学科方面的研究而著名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。