Waymo 发布 MaRVL-QA 数据集, 应用在 视觉推理、数学推理 领域

Waymo 本次发布的数据集 MaRVL-QA, MaRVL-QA是一个用于评估多模态大型语言模型（MLLMs）在视觉景观中进行深度数学和空间推理能力的新基准。该数据集由两个新颖的任务组成：拓扑计数，识别和枚举特征，如局部最大值；以及变换识别，识别应用的几何变换。MaRVL-QA提供了一种新的方法来创建基准，基于一个多样化的数学函数库，并通过严格的模糊性过滤来生成QA对。该数据集旨在解决现有数学推理基准的局限性，并提供一种新的评估方法，即通过视觉数据直接理解数学概念的能力。

查看MaRVL-QA

Dataset card 内容： 

Files and versions 内容： 

关于 Waymo , Waymo是谷歌的姊妹公司，专注于自动驾驶汽车技术的研发，它是自动驾驶领域的先驱之一，致力于通过其先进的机器学习技术和传感器系统来提升道路安全性和效率。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。