上海交通大学 发布 MMCR 数据集, 应用在 科学论文理解、视觉语言模型 领域

上海交通大学 本次发布的数据集 MMCR, MMCR数据集是由上海交通大学团队创建的高难度基准，旨在评估视觉语言模型在科学论文中跨源信息推理的能力。该数据集包含276个高质量的问题，由人类专家精心标注，跨越7个学科和10种任务类型。数据集的问题设计紧密结合科学论文的特点，涵盖了图表、表格、文本、伪代码、公式等多种信息源，并通过严格的筛选和质量控制确保每个问题都与跨源线索紧密相关，不能通过其他来源的信息回答。该数据集的应用领域主要在于推动视觉语言模型在科学论文理解方面的性能提升，解决科学论文自动化理解中的关键挑战。

查看MMCR

README 内容： 

关于 上海交通大学 , 上海交通大学是一所位于中国上海市的著名综合性研究型大学，以工程学、管理学和医学等领域的研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。