上海人工智能实验室 发布 MMSI-Bench 数据集, 应用在 视觉问答、多图像推理 领域

上海人工智能实验室 本次发布的数据集 MMSI-Bench, MMSI-Bench是一个专门用于评估多图像空间智能的VQA基准数据集。该数据集由六位3D视觉研究人员耗时超过300小时，从超过12万张图像中精心挑选出1000个具有挑战性、明确的多个选择题，每个问题都配有一套精心设计的干扰项和逐步推理过程。数据集涵盖广泛的现实场景，包括室内扫描、户外驾驶录像、机器人操作和日常活动等。数据集的构建过程包括数据收集、问题-答案设计和推理过程标注等环节。该数据集旨在解决现有基准测试只能探测单图像关系的问题，从而无法评估真实世界部署所需的多图像空间推理能力。

查看MMSI-Bench

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。