乔治亚理工学院 发布 FRAMES-VQA 数据集, 应用在 视觉问答、模型评估 领域

乔治亚理工学院 本次发布的数据集 FRAMES-VQA, FRAMES-VQA是一个用于评估视觉问答系统在多模态数据分布变化下的鲁棒性微调的新基准。该数据集利用了现有的十个VQA基准数据集，包括VQAv2、IV-VQA、VQACP、OK-VQA等，并将它们分类为ID、近和远OOD数据集，涵盖了单模态、多模态和对立分布变化。数据集通过计算使用不同模型提取的单模态和多模态嵌入的Mahalanobis距离来量化分布变化。

查看FRAMES-VQA

README 内容： 

关于 乔治亚理工学院 , 乔治亚理工学院（Georgia Tech）是一所位于美国乔治亚州亚特兰大的著名公立研究型大学，以其在工程、计算机科学和科技领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。