同济大学 发布 CrossVLAD 数据集, 应用在 视觉语言模型、对抗攻击 领域

同济大学 本次发布的数据集 CrossVLAD, CrossVLAD是一个专门用于评估统一视觉语言模型（VLMs）跨任务对抗攻击的基准数据集。它基于MSCOCO数据集构建，并使用GPT-4辅助进行注释。数据集包含了3000张经过精心挑选的图像，涉及10个语义类别的79个变换对。CrossVLAD的构建过程采用了严格的筛选标准，确保了对象的大小限制、类别独特性、标题验证等。数据集的设计旨在模拟跨任务对抗攻击的场景，要求对抗性样本能够一致地改变目标对象在四个下游任务中的分类。CrossVLAD的引入填补了统一VLMs安全评估中的一个关键研究空白，为评估跨任务对抗攻击的成功率提供了一个全面的评估框架。

查看CrossVLAD

README 内容： 

关于 同济大学 , 同济大学是中国著名的高等学府之一，位于上海市，是中国教育部直属的全国重点大学，也是国家“211工程”和“985工程”的首批建设高校之一。学校在多个学科领域都有显著的研究成果和学术贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。