上海人工智能实验室 发布 OST-Bench 数据集, 应用在 在线时空推理、多模态模型评估 领域

上海人工智能实验室 本次发布的数据集 OST-Bench, OST-Bench 是一个用于评估在线时空场景理解能力的基准数据集，由上海人工智能实验室等机构创建。该数据集由 1.4k 个场景和 10k 个问答对组成，数据来源于 ScanNet、Matterport3D 和 ARKitScenes。数据集的设计模拟了真实世界中的场景，要求模型具备在线时空推理能力，能够根据动态更新的视觉信息进行推理。OST-Bench 的引入填补了现有基准数据集在在线时空推理能力评估方面的空白，为评估多模态大型语言模型在现实世界场景中的表现提供了重要的测试平台。

查看OST-Bench

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。