伊利诺伊大学香槟分校 发布 MASKGROUPS-2M, MASKGROUPS-HQ 数据集, 应用在 视觉分割、视觉语言处理 领域

伊利诺伊大学香槟分校 本次发布的数据集 MASKGROUPS-2M, MASKGROUPS-HQ, 本研究引入了一种新型的视觉语言任务，称为全模式指代表达式分割（ORES），该任务要求模型根据文本或文本加参考视觉实体的提示生成一组相关的掩码。为此，我们提出了一个名为“参考任何分割掩码组”（RAS）的框架，它通过掩码中心的大多模态模型增强分割掩码的语义理解，并生成满足用户指定指令的掩码组。为了训练和评估ORES模型，我们创建了数据集MASKGROUPS-2M和MASKGROUPS-HQ，这些数据集包含由文本和参考实体指定的多样化掩码组。通过广泛评估，我们证明了RAS在我们的新ORES任务以及经典的指代表达式分割（RES）和广义指代表达式分割（GRES）任务上的优越性能。

查看MASKGROUPS-2M, MASKGROUPS-HQ

关于 伊利诺伊大学香槟分校 , 伊利诺伊大学香槟分校（University of Illinois at Urbana-Champaign，简称UIUC）是一所美国著名的公立研究型大学，成立于1867年，位于美国伊利诺伊州香槟市。该校在计算机科学、工程、商学等领域享有很高的声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。