首尔国立大学 发布 Multimodal Adversarial Compositionality (MAC) 数据集, 应用在 多模态学习、模型鲁棒性 领域

首尔国立大学 本次发布的数据集 Multimodal Adversarial Compositionality (MAC), MAC数据集旨在评估预训练的多模态表示（如CLIP）在多模态内容中对象和属性之间关系编码的弱点。该数据集利用大型语言模型（LLMs）生成欺骗性的文本样本，以揭示不同模态（图像、视频、音频）中的组合弱点。数据集包含通过文本更新生成的对抗性样本，这些样本旨在欺骗目标模型，同时保持与原始内容的跨模态相似性。MAC数据集为评估多模态表示的组合鲁棒性提供了一个基准，有助于理解和改进多模态系统的性能。

查看Multimodal Adversarial Compositionality (MAC)

关于 首尔国立大学 , 首尔国立大学是韩国最顶级的公立研究型综合大学，以其卓越的教学和科研实力享誉全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。