乔治亚理工学院 发布 MEBench 数据集, 应用在 视觉语言模型、空间推理 领域

乔治亚理工学院 本次发布的数据集 MEBench, MEBench是一个用于评估视觉语言模型中相互排斥（ME）偏差的新基准。这个数据集模拟了儿童在词汇爆发阶段学习新词汇时的认知现象。MEBench不仅包含了传统的ME任务，还进一步整合了空间推理，以创建更具挑战性和现实性的评估设置。该数据集的开发过程包括从3D数据集中生成真实场景，并使用Blender软件创建新的物体。数据集的目的是为了解决视觉语言模型在复杂视觉场景中的推理问题，并评估它们在空间推理和上下文线索方面的能力。

查看MEBench

关于 乔治亚理工学院 , 乔治亚理工学院（Georgia Institute of Technology），简称Georgia Tech，位于美国佐治亚州亚特兰大，是一所以工程学为主， 公立研究型大学，是美国大学协会（AAU）的成员之一，也是东南部高等学府中的佼佼者。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。