麻省理工学院 发布 NegBench 数据集, 应用在 视觉-语言模型、否定理解 领域

麻省理工学院 本次发布的数据集 NegBench, NegBench是由麻省理工学院、谷歌DeepMind和牛津大学联合创建的一个多模态基准数据集，旨在评估视觉-语言模型（VLMs）对否定的理解能力。该数据集包含79,000个样本，涵盖图像、视频和医学数据，通过两个核心任务——带有否定的检索和带有否定描述的多项选择题——来全面测试模型在复杂否定场景下的表现。数据集通过从现有数据集中提取正面元素，并利用大语言模型生成否定描述，构建了多样化的否定场景。NegBench的应用领域广泛，包括搜索引擎、内容审核、推荐系统以及医学诊断等，旨在解决现有VLMs在否定理解上的不足，推动相关领域的研究进展。

查看NegBench

关于 麻省理工学院 , 麻省理工学院（Massachusetts Institute of Technology，简称MIT）是美国一所著名的私立研究型大学，位于马萨诸塞州剑桥市。MIT以其在工程、物理科学、经济学、生物学、化学、数学和计算机科学等领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。